CN116737409A - 超大数据流的实时处理方法以及数据处理系统 - Google Patents

超大数据流的实时处理方法以及数据处理系统 Download PDF

Info

Publication number
CN116737409A
CN116737409A CN202310580226.2A CN202310580226A CN116737409A CN 116737409 A CN116737409 A CN 116737409A CN 202310580226 A CN202310580226 A CN 202310580226A CN 116737409 A CN116737409 A CN 116737409A
Authority
CN
China
Prior art keywords
data
shared memory
data block
oversized
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310580226.2A
Other languages
English (en)
Other versions
CN116737409B (zh
Inventor
杨江涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingnuowei Shanghai Technology Co ltd
Original Assignee
Jingnuowei Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingnuowei Shanghai Technology Co ltd filed Critical Jingnuowei Shanghai Technology Co ltd
Priority to CN202310580226.2A priority Critical patent/CN116737409B/zh
Publication of CN116737409A publication Critical patent/CN116737409A/zh
Application granted granted Critical
Publication of CN116737409B publication Critical patent/CN116737409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种超大数据流的实时处理方法以及数据处理系统，通过主控进程将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程，再由辅助计算进程根据接收的数据块的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。本发明通过设置的一主控进程以及多个辅助计算进程实现了超大数据流的实时处理，使得超大数据流实时分析处理变的简单易操作；并且相比其他方法，成本降低明显，显著减少了超大数据由于传输而带来的各种损耗；还解决了单个进程长时间占用超大内存块和CPU资源而引起的系统不稳定的问题。

Description

超大数据流的实时处理方法以及数据处理系统
技术领域
本发明涉及数据处理领域，特别是涉及一种超大数据流的实时处理方法以及数据处理系统。
背景技术
随着科技的发展，高速工业数据采集设备已经达到以G为单位的数据采集速度，即1秒钟完成几个G的数据采集，连续长时间进行这样的数据采集，同时还需要对这些数据做实时的数据分析，在一个进程中，或者多线程中，长时间占用操作巨大内存空间，很容易引起系统不可预测的异常，这对目前我们使用的普通计算机，或服务器来说，是一个巨大的挑战。当前有用多组计算机并行处理的方式，来解决大数据分析的方案，但是，多组计算机并行处理的方式，势必需要将过G的巨量数据传递到不同计算机，然后进行处理，计算机之间超大数据的传输，将带来极其严重的时间和资源的巨大损耗，同时也将大幅增加硬件的成本，会极大影响数据处理的实时性。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种超大数据流的实时处理方法以及数据处理系统，用于解决以上现有技术问题。
为实现上述目的及其他相关目的，本发明提供一种超大数据流的实时处理方法，应用于数据处理系统，包括：一主控进程以及多个辅助计算进程，所述方法包括：通过主控进程将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程；由接收到数据块的数据信息的辅助计算进程根据对应的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。
于本发明的一实施例中，所述主控进程包括：数据采集线程以及数据传递线程。
于本发明的一实施例中，所述通过主控进程将实时采集的预设大小的各数据块数据写入共享内存，并将各数据块的数据信息分别发送至对应的辅助计算进程包括：通过所述数据采集线程实时采集超大数据流，并将其分割为预设数据大小的多个数据块；通过所述数据传递线程将每个数据块分别写入共享内存中空闲的共享内存空间，并将对应的数据块的共享内存句柄以及数据块参数通过Remote模式传送给一空闲的辅助计算进程。
于本发明的一实施例中，由接收到数据块的数据信息的辅助计算进程根据对应的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程包括：通过对应的辅助计算进程根据接收的数据块的共享内存句柄以及数据块参数读取在所述共享内存中对应的共享内存空间读取对应的数据块，并对数据块数据进行分析计算，将分析计算完成后获得的计算结果通过Remote模式发送至所述主控进程。
于本发明的一实施例中，预设数据大小为256M。
于本发明的一实施例中，每个辅助计算进程分别配置有独立的通讯Port端口。
于本发明的一实施例中，通过所述数据采集线程将分割为预设大小的各数据块分别写入临时数据列表中。
于本发明的一实施例中，通过所述数据传递线程将每个数据块分别写入共享内存中空闲的共享内存空间，并将对应的数据块的共享内存句柄以及数据块参数通过Remote模式传送给一空闲的辅助计算进程包括：当监控到所述临时数据列表中有数据块的数据写入完毕，则从所述临时数据列表中将对应的数据块取出并存入一空闲的共享内存空间，并将该数据块的共享内存句柄以及数据块参数打包通过Remote模式传送给一空闲的辅助计算进程的通讯Port端口。
于本发明的一实施例中，所述方法还包括：通过所述主控进程接收来自对应辅助计算进程发送的计算结果并储存，并将储存对应数据块的共享内存空间以及对应的辅助计算进程标记为空闲。
为实现上述目的及其他相关目的，本发明提供一种数据处理系统，所述系统包括：一主控进程以及多个辅助计算进程；其中，所述主控进程，用于将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程；所述辅助计算进程，用于根据接收到来自所述主控进程的数据块的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。
如上所述，本发明是一种超大数据流的实时处理方法以及数据处理系统，具有以下有益效果：本发明通过主控进程将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程，再由辅助计算进程根据接收的数据块的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。本发明通过设置的一主控进程以及多个辅助计算进程实现了超大数据流的实时处理，使得超大数据流实时分析处理变的简单易操作；并且相比其他方法，成本降低明显，显著减少了超大数据由于传输而带来的各种损耗；还解决了单个进程长时间占用超大内存块和CPU资源而引起的系统不稳定的问题。
附图说明
图1显示为本发明一实施例中的超大数据流的实时处理方法的流程示意图。
图2显示为本发明一实施例中的数据采集线程以及数据传递线程的工作实现示意图。
图3显示为本发明一实施例中的超大数据流的实时处理方法的实现步骤示意图。
图4显示为本发明一实施例中的数据处理系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在通篇说明书中，当说某部分与另一部分“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部分“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素，排除在外，而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的，但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此，以下叙述的第一部分、成分、区域、层或段在不超出本发明范围的范围内，可以言及到第二部分、成分、区域、层或段。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本发明的一种超大数据流的实时处理方法，通过主控进程将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程，再由辅助计算进程根据接收的数据块的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。本发明通过设置的一主控进程以及多个辅助计算进程实现了超大数据流的实时处理，使得超大数据流实时分析处理变的简单易操作；并且相比其他方法，成本降低明显，显著减少了超大数据由于传输而带来的各种损耗；还解决了单个进程长时间占用超大内存块和CPU资源而引起的系统不稳定的问题。
下面以附图为参考，针对本发明的实施例进行详细说明，以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现，并不限于此处说明的实施例。
如图1展示本发明实施例中的一种超大数据流的实时处理方法的流程示意图。
应用于数据处理系统，包括：一主控进程以及多个辅助计算进程。
所述方法包括：
步骤S1：通过主控进程将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程。
详细来说，启动主控进程，并由主控进程实时采集超大数据流，并分割获得预设数据大小的多个数据块，将分割后的各数据块写入共享内存，再将各数据块的数据信息分别发送至空闲的辅助计算进程。
在一实施例中，所述主控进程包括：数据采集线程以及数据传递线程。
所述数据采集线程负责数据采集和数据块的分割；
所述数据传递线程负责将分割好的数据块写入共享内存，并将此数据块对应的数据信息传递给空闲的辅助计算进程。
在一具体实施例中，步骤S1包括：
通过所述数据采集线程实时采集超大数据流，并将其分割为预设数据大小的多个数据块；举例来说，实时采集超大数据流为1.8G/s。
通过所述数据传递线程将每个数据块分别写入共享内存中空闲的共享内存空间，并将对应的数据块的共享内存句柄以及数据块参数通过Remote模式传送给一空闲的辅助计算进程。
其中，Remote模式采用Remote技术，Remote即远程调用或这远程控制，是一款远程控制服务器软件。此软件是一款适合任何个人、公司和家庭用于远程维护、远程协助和远程管理的计算机应用软件。用户不得利用本软件从事非法用途，如：用于窃取、破坏被控端电脑资料，窃取他人隐私等违法行为，任何违法行为都将受到法律的制裁。
需要说明的是，共享内存中存在多个共享内存空间，每个享内存空间对应标记有空闲或非空闲状态。优选的，若共享内存中共享内存空间少于预设个数，则加入新的共享内存进行储存；例如，如果已经有48个共享内存空间，则找到当前空闲的共享内存，如果少于48个共享内存空间，则申请一块新的共享内存。
优选的，预设数据大小为256M，即采集的超大数据会被所述数据采集线程分割成256M等大的多块数据块。
举例来说，如图2所示，通过所述数据采集线程实时采集超大数据流，并将其分割为256M的多个数据块；通过所述数据传递线程将每个数据块分别写入共享内存中空闲的共享内存空间，并将对应的数据块的共享内存句柄以及数据块参数等数据块的附加信息数据通过Remote模式传送给一空闲的辅助计算进程。
在一实施例中，每个辅助计算进程分别配置有独立的通讯Port端口。
在一实施例中，通过所述数据采集线程将分割为预设大小的各数据块分别写入临时数据列表中。具体的，通过所述数据采集线程实时采集超大数据流，并将其分割为预设数据大小的多个数据块，并分别将数据块写入临时数据列表中。
在一实施例中，通过所述数据传递线程将每个数据块分别写入共享内存中空闲的共享内存空间，并将对应的数据块的共享内存句柄以及数据块参数通过Remote模式传送给一空闲的辅助计算进程包括：
当监控到所述临时数据列表中有数据块的数据写入完毕，则从所述临时数据列表中将对应的数据块取出并存入一空闲的共享内存空间，并将该数据块的共享内存句柄以及数据块参数打包通过Remote模式传送给一空闲的辅助计算进程的通讯Port端口。具体的，通过共享内存管理线程监控临时数据列表，临时数据列表中如果有数据写入完成，则从临时数据列表中取出数据，找到当前空闲的共享内存，将从临时数据列表中取出的数据利用Remote技术通过对应Port端口存入共享内存。
步骤S2：由接收到数据块的数据信息的辅助计算进程根据对应的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。
在一实施例中，步骤S2包括：
通过对应的辅助计算进程根据接收的数据块的共享内存句柄以及数据块参数读取在所述共享内存中对应的共享内存空间读取对应的数据块，并对数据块数据进行分析计算，将分析计算完成后获得的计算结果通过Remote模式发送至所述主控进程。
在一实施例中，所述方法还包括：通过所述主控进程接收来自对应辅助计算进程发送的计算结果并储存，并将储存对应数据块的共享内存空间以及对应的辅助计算进程标记为空闲。
为了更好的说明上述超大数据流的实时处理方法，本发明提供以下具体实施例。
实施例1：一种超大数据流的实时处理方法。
应用于数据处理系统，该系统使用的计算机配置为CPU 64核心，内存128G，系统包含一个主控进程和48个辅助计算进程，如图3所示，超大数据流的实时处理方法实现步骤如下：
步骤1：启动主控进程；
步骤2：为48个计算进程分别分配独立的通讯Port端口，并启动计算进程；
步骤3：主控进程通过数据采集线程进行数据连续采集，每次采集数据大小为256M(每秒采集的数据量为1800M)；
步骤4：采集到的数据被存入临时数据列表A；
步骤5：共享内存管理线程监控数据列表A，数据列表A中如果有数据写入完成，则从列表A中取出数据，如果已经有48块共享内存，则找到当前空闲的共享内存，如果少于48块共享内存，则申请一块新的共享内存，准备好合适的共享内存后，将从列表A中取出的数据存入共享内存；
步骤6：将当前操作的共享内存句柄，存入的数据尺寸大小，以及其他一些参数打包；
步骤7：找到48个计算进程中，当前空闲的进程n(没有与主控进程建立过连接或者已经建立连接，并且完成计算工作返回计算结果的进程)。
步骤8：通过Remote技术，将步骤6中准备好的数据通过对应Port端口，发送给空闲计算进程n；
步骤9：空闲进程n收到数据后，根据数据包中共享内存句柄，从对应的共享内存中取出数据块，开始进行数据分析计算；
步骤10：空闲进程n完成计算后，再次通过Remote技术，将计算结果发送给主控进程；
步骤11：主控进程收集到空闲进程n发回的结果数据后，保存结果，并将计算进程n及对应的共享内存块标记为空闲。
与上述实施例原理相似的是，本发明提供一种数据处理系统。
以下结合附图提供具体实施例：
如图4展示本发明实施例中的一种数据处理系统的结构示意图。
所述系统可通过处理器来实现，例如具有一定内存及处理核心的处理器，所述处理器可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述系统包括：
一主控进程1以及多个辅助计算进程2；
其中，所述主控进程1，用于将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程2；
所述辅助计算进程2，用于根据接收到来自所述主控进程1的数据块的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程1。
在一实施例中，所述主控进程1包括：数据采集线程11以及数据传递线程12。
在一实施例中，所述数据采集线程11用于实时采集超大数据流，并将其分割为预设数据大小的多个数据块；所述数据传递线程12用于将每个数据块分别写入共享内存中空闲的共享内存空间，并将对应的数据块的共享内存句柄以及数据块参数通过Remote模式传送给一空闲的辅助计算进程。
在一实施例中，所述辅助计算进程2用于根据接收的数据块的共享内存句柄以及数据块参数读取在所述共享内存中对应的共享内存空间读取对应的数据块，并对数据块数据进行分析计算，将分析计算完成后获得的计算结果通过Remote模式发送至所述主控进程1。
在一实施例中，预设数据大小为256M。
在一实施例中，每个辅助计算进程2分别配置有独立的通讯Port端口。
在一实施例中，所述数据采集线程21还用于将分割为预设大小的各数据块分别写入临时数据列表中。
在一实施例中，所述数据传递线程12用于当监控到所述临时数据列表中有数据块的数据写入完毕，则从所述临时数据列表中将对应的数据块取出并存入一空闲的共享内存空间，并将该数据块的共享内存句柄以及数据块参数打包通过Remote模式传送给一空闲的辅助计算进程2的通讯Port端口。
在一实施例中，所述主控进程1还用于接收来自对应辅助计算进程2发送的计算结果并储存，并将储存对应数据块的共享内存空间以及对应的辅助计算进程2标记为空闲。
综上所述，本发明的超大数据流的实时处理方法以及数据处理系统，通过主控进程将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程，再由辅助计算进程根据接收的数据块的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。本发明通过设置的一主控进程以及多个辅助计算进程实现了超大数据流的实时处理，使得超大数据流实时分析处理变的简单易操作；并且相比其他方法，成本降低明显，显著减少了超大数据由于传输而带来的各种损耗；还解决了单个进程长时间占用超大内存块和CPU资源而引起的系统不稳定的问题。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种超大数据流的实时处理方法，其特征在于，应用于数据处理系统，包括：一主控进程以及多个辅助计算进程，所述方法包括：
通过主控进程将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程；
由接收到数据块的数据信息的辅助计算进程根据对应的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。
2.根据权利要求1中所述的超大数据流的实时处理方法，其特征在于，所述主控进程包括：数据采集线程以及数据传递线程。
3.根据权利要求2中所述的超大数据流的实时处理方法，其特征在于，所述通过主控进程将实时采集的预设大小的各数据块数据写入共享内存，并将各数据块的数据信息分别发送至对应的辅助计算进程包括：
通过所述数据采集线程实时采集超大数据流，并将其分割为预设数据大小的多个数据块；
通过所述数据传递线程将每个数据块分别写入共享内存中空闲的共享内存空间，并将对应的数据块的共享内存句柄以及数据块参数通过Remote模式传送给一空闲的辅助计算进程。
4.根据权利要求3中所述的超大数据流的实时处理方法，其特征在于，由接收到数据块的数据信息的辅助计算进程根据对应的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程包括：
通过对应的辅助计算进程根据接收的数据块的共享内存句柄以及数据块参数读取在所述共享内存中对应的共享内存空间读取对应的数据块，并对数据块数据进行分析计算，将分析计算完成后获得的计算结果通过Remote模式发送至所述主控进程。
5.根据权利要求1中所述的超大数据流的实时处理方法，其特征在于，预设数据大小为256M。
6.根据权利要求3中所述的超大数据流的实时处理方法，其特征在于，每个辅助计算进程分别配置有独立的通讯Port端口。
7.根据权利要求6中所述的超大数据流的实时处理方法，其特征在于，通过所述数据采集线程将分割为预设大小的各数据块分别写入临时数据列表中。
8.根据权利要求7中所述的超大数据流的实时处理方法，其特征在于，通过所述数据传递线程将每个数据块分别写入共享内存中空闲的共享内存空间，并将对应的数据块的共享内存句柄以及数据块参数通过Remote模式传送给一空闲的辅助计算进程包括：
当监控到所述临时数据列表中有数据块的数据写入完毕，则从所述临时数据列表中将对应的数据块取出并存入一空闲的共享内存空间，并将该数据块的共享内存句柄以及数据块参数打包通过Remote模式传送给一空闲的辅助计算进程的通讯Port端口。
9.根据权利要求3中所述的超大数据流的实时处理方法，其特征在于，所述方法还包括：
通过所述主控进程接收来自对应辅助计算进程发送的计算结果并储存，并将储存对应数据块的共享内存空间以及对应的辅助计算进程标记为空闲。
10.一种数据处理系统，其特征在于，所述系统包括：
一主控进程以及多个辅助计算进程；
其中，所述主控进程，用于将由实时采集的超大数据流分割获得的预设数据大小的多个数据块写入共享内存，并将各数据块的数据信息分别发送至空闲的辅助计算进程；
所述辅助计算进程，用于根据接收到来自所述主控进程的数据块的数据信息读取写入所述共享内存中的对应数据块，并将对该数据块数据进行分析计算后获得的计算结果发送至所述主控进程。
CN202310580226.2A 2023-05-22 2023-05-22 超大数据流的实时处理方法以及数据处理系统 Active CN116737409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310580226.2A CN116737409B (zh) 2023-05-22 2023-05-22 超大数据流的实时处理方法以及数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310580226.2A CN116737409B (zh) 2023-05-22 2023-05-22 超大数据流的实时处理方法以及数据处理系统

Publications (2)

Publication Number Publication Date
CN116737409A true CN116737409A (zh) 2023-09-12
CN116737409B CN116737409B (zh) 2024-09-20

Family

ID=87914312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310580226.2A Active CN116737409B (zh) 2023-05-22 2023-05-22 超大数据流的实时处理方法以及数据处理系统

Country Status (1)

Country Link
CN (1) CN116737409B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150220A (zh) * 2011-12-07 2013-06-12 腾讯科技（深圳）有限公司 进程间的通信方法和通信系统
CN103294560A (zh) * 2012-03-01 2013-09-11 腾讯科技（深圳）有限公司 跨进程传递字符串的方法及装置
CN103425538A (zh) * 2012-05-24 2013-12-04 深圳市腾讯计算机系统有限公司 进程通讯方法及系统
CN108064377A (zh) * 2017-08-08 2018-05-22 深圳前海达闼云端智能科技有限公司 一种多系统共享内存的管理方法及装置
CN108984323A (zh) * 2018-07-13 2018-12-11 上海联影医疗科技有限公司 一种共享存储空间的调度方法及系统
CN112506684A (zh) * 2021-02-05 2021-03-16 全时云商务服务股份有限公司 一种跨进程快速传送大数据的方法、系统及存储介质
CN113032162A (zh) * 2021-03-23 2021-06-25 重庆智行者信息科技有限公司 一种基于共享内存备份机制的多进程通讯方法
CN115145748A (zh) * 2022-06-30 2022-10-04 阿波罗智联(北京)科技有限公司 跨进程通信方法、装置、设备以及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150220A (zh) * 2011-12-07 2013-06-12 腾讯科技（深圳）有限公司 进程间的通信方法和通信系统
CN103294560A (zh) * 2012-03-01 2013-09-11 腾讯科技（深圳）有限公司 跨进程传递字符串的方法及装置
CN103425538A (zh) * 2012-05-24 2013-12-04 深圳市腾讯计算机系统有限公司 进程通讯方法及系统
CN108064377A (zh) * 2017-08-08 2018-05-22 深圳前海达闼云端智能科技有限公司 一种多系统共享内存的管理方法及装置
CN108984323A (zh) * 2018-07-13 2018-12-11 上海联影医疗科技有限公司 一种共享存储空间的调度方法及系统
CN112506684A (zh) * 2021-02-05 2021-03-16 全时云商务服务股份有限公司 一种跨进程快速传送大数据的方法、系统及存储介质
CN113032162A (zh) * 2021-03-23 2021-06-25 重庆智行者信息科技有限公司 一种基于共享内存备份机制的多进程通讯方法
CN115145748A (zh) * 2022-06-30 2022-10-04 阿波罗智联(北京)科技有限公司 跨进程通信方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN116737409B (zh) 2024-09-20

Similar Documents

Publication Publication Date Title
DE102018006890B4 (de) Technologien zur Verarbeitung von Netzpaketen durch einen intelligenten Netzwerk-Schnittstellenkontroller
US10831562B2 (en) Method and system for operating a data center by reducing an amount of data to be processed
DE112011101321B4 (de) Abfragen von Leistungsdaten auf einem parallelenComputersystem, das Rechenknoten aufweist
US7689694B2 (en) Process management apparatus, computer systems, distributed processing method, and computer program for avoiding overhead in a process management device
US10713202B2 (en) Quality of service (QOS)-aware input/output (IO) management for peripheral component interconnect express (PCIE) storage system with reconfigurable multi-ports
CN105407356B (zh) 高速实时jpeg2000解码方法
CN110308984B (zh) 一种用于处理地理分布式数据的跨集群计算系统
DE102015119894A1 (de) Techniken für die zusammenarbeitende Ausführung zwischen asymmetrischen Prozessorkernen
DE112017003294T5 (de) Technologien für ein skalierbares Senden und Empfangen von Paketen
DE102008055892A1 (de) Abspeichern von Abschnitten eines Datenübertragungsdeskriptors in einem gecachten und einem nicht gecachten Adressbereich
US20060161720A1 (en) Image data transmission method and system with DMAC
DE112005001364T5 (de) Verarbeiten von Empfangsprotokolldateneinheiten
US11151141B2 (en) Data processing device and data processing method
CN106571978B (zh) 数据包捕获方法及装置
CN105094981B (zh) 一种数据处理的方法及装置
CN108519917A (zh) 一种资源池分配方法和装置
US7140026B2 (en) Message preprocessing method and device for computer network communications
EP1768024B1 (en) Processing management device, computer system, distributed processing method, and computer program
DE102010044531A1 (de) Autonome Speicherarchitektur
CN103488699A (zh) 基于内存数据网格的数据处理装置和方法
DE60303444T2 (de) Ablaufsteuerung unter verwendung von quantumwerten und defizitwerten
CN104156316B (zh) 一种Hadoop集群批处理作业的方法及系统
WO2021136433A1 (zh) 一种电子设备及计算机系统
CN116737409B (zh) 超大数据流的实时处理方法以及数据处理系统
CN116383240A (zh) 基于fpga多数据库加速查询方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant