CN117389486B - 用于实时处理epa网络数据的方法、计算设备和存储介质 - Google Patents

用于实时处理epa网络数据的方法、计算设备和存储介质 Download PDF

Info

Publication number
CN117389486B
CN117389486B CN202311711640.9A CN202311711640A CN117389486B CN 117389486 B CN117389486 B CN 117389486B CN 202311711640 A CN202311711640 A CN 202311711640A CN 117389486 B CN117389486 B CN 117389486B
Authority
CN
China
Prior art keywords
data
storage
epa
channel
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311711640.9A
Other languages
English (en)
Other versions
CN117389486A (zh
Inventor
陈建飞
周天文
顾昊
解群眺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guoli Xin'an Technology Co ltd
Original Assignee
Zhejiang Guoli Xin'an Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guoli Xin'an Technology Co ltd filed Critical Zhejiang Guoli Xin'an Technology Co ltd
Priority to CN202311711640.9A priority Critical patent/CN117389486B/zh
Publication of CN117389486A publication Critical patent/CN117389486A/zh
Application granted granted Critical
Publication of CN117389486B publication Critical patent/CN117389486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G06F13/1673—Details of memory controller using buffers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的实施例涉及一种用于实时处理EPA网络数据的方法、计算设备和存储介质。该方法包括通过多个EPA物理数据端口，同步采集多个EPA物理数据端口所连接的EPA设备的实时数据；针对所获取的实时数据，进行初步处理，以生成多通道的EPA数据，多通道包括对应于每一个EPA物理数据端口的数据通道和一个冗余数据通道；将所生成的多通道的EPA数据以时间序列进行缓存，以生成数据缓存队列；以及基于所获取的关于数据缓存队列的存储策略，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储，存储服务包括与数据通道对应的固定存储服务和多个动态存储服务。由此，能够有效的提高针对多EPA设备的实时数据采集、存储效率。

Description

用于实时处理EPA网络数据的方法、计算设备和存储介质
技术领域
本发明的实施例总体涉及数据处理领域，并且更具体地涉及一种用于实时处理EPA网络数据的方法、计算设备和存储介质。
背景技术
EPA（Ethernet for Plant Automation，工厂自动化以太网）是一种由中国自主研发的面向控制系统的实时以太网技术，EPA已被现场总线国际标准IEC61158和实时以太网标准IEC61784收录。目前，EPA已经被广泛应用于电力、化工、机械、采矿、石油等多个领域。
传统的用于实时处理EPA网络数据的方法，在面向多个EPA设备的实时数据采集时，实时存储性能无法满足数据采集接收的效率；以及当面对较多数据量时，解析数据、存储落库以及筛选查询的功能都会异常缓慢，导致内存过载等问题。
综上，传统的用于实时处理EPA网络数据的方式存在的不足之处在于：无法实时处理多个EPA设备的采集的高并发实时数据，且处理和存储速度缓慢。
发明内容
针对上述问题，本发明提供了一种用于实时处理EPA网络数据的方法、计算设备和存储介质，能够有效的提高针对多EPA设备的实时数据采集、存储效率。
根据本发明的第一方面，提供了一种用于实时处理EPA网络数据的方法，包括：通过多个EPA物理数据端口，同步采集多个EPA物理数据端口所连接的EPA设备的实时数据；针对所获取的实时数据，进行初步处理，以便生成多通道的EPA数据，多通道包括对应于每一个EPA物理数据端口的数据通道和一个冗余数据通道；将所生成的多通道的EPA数据以时间序列进行缓存，以生成数据缓存队列；以及基于所获取的关于数据缓存队列的存储策略，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储，存储服务包括与数据通道对应的固定存储服务和多个动态存储服务。
在一些实施例中，针对所获取的实时数据，进行初步处理，以便生成多通道的EPA数据包括：针对所获取的实时数据，将不满足关于EPA数据的预定格式的实时数据过滤；校验过滤后的实时数据的EPA数据头和标志位；针对校验后的实时数据，至少剔除已校验完成的实时数据的EPA数据头；以及基于被剔除EPA数据头的实时数据，生成对应于每一个数据通道的多通道的EPA数据。
在一些实施例中，每一个数据通道对应于至少一个固定存储服务；每一个固定存储服务仅对应于一个数据通道；以及每一个固定存储服务对应于至少一个物理存储核心。
在一些实施例中，多个动态存储服务的数量大于或者等于固定存储服务的数量；以及多个动态存储服务被配置为与至少一个物理存储核心和/或虚拟存储核心对应。
在一些实施例中，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储包括：调用多个动态存储服务，对每一个数据通道的EPA数据进行存储时，共用动态存储服务所对应的至少一个物理存储核心和/或虚拟存储核心。
在一些实施例中，对每一个数据通道的EPA数据进行存储包括：基于存储策略，确定每一个数据通道的EPA数据的存储位置、所需调用的存储服务和存储方式；基于所确定的存储方式，对数据缓存队列中的关于同一数据通道的EPA数据进行合并，以便将合并后的关于同一数据通道的EPA数据存入所对应的内存；以及基于所确定的存储方式，对已存入内存的关于同一数据通道的EPA数据进行合并，以便将合并后的内存中的EPA数据存入所对应的硬盘的区域。
在一些实施例中，所获取关于数据缓存队列的存储策略，调用至少一个存储服务包括：实时监测运行中的存储服务的状态，以获取关于运行中的存储服务的存储时长信息和存储数量信息；其中，存储时长信息指示存储服务存储预定数量的数据所需要的时长，存储数量信息指示存储服务在预定时长中存储的数据数量；以及针对所获取的关于运行中的存储服务的存储时长信息、存储数量信息和数据缓存队列中的数据数量信息，分别与标准存储时长、标准存储数量和数据缓存队列数据量阈值进行比较，以便确定多个动态存储服务中每一个动态存储服务的开启和关闭。
在一些实施例中，确定多个动态存储服务中每一个动态存储服务的开启和关闭包括：响应于确定存储时长信息大于标准存储时长、存储数量信息小于标准存储数量和/或数据缓存队列中的数据数量大于数据缓存队列数据量阈值，增加一个动态存储服务的开启；以及响应于确定存储时长信息小于或者等于标准存储时长、存储数量信息大于或者等于标准存储数量并且数据缓存队列中的数据数量小于或者等于数据缓存队列数据量阈值，关闭多个动态存储服务中的一个动态存储服务。
根据本发明的第二方面，提供了一种计算设备，该计算设备包括：至少一个处理单元；至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行根据第一方面的方法的步骤。
根据本发明的第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，所述计算机程序被机器执行时实现根据第一方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。
图1示出了用于实现根据本发明的实施例的用于实时处理EPA网络数据的方法的系统的示意图。
图2示出了根据本发明的实施例的用于实时处理EPA网络数据的方法的流程图。
图3示出了根据本发明的实施例的用于针对所获取的实时数据进行初步处理的方法的流程图。
图4示出了根据本发明的实施例的用于对每一个数据通道的EPA数据进行存储的方法的流程图。
图5示出了根据本发明的实施例的用于调用存储服务的方法的流程图。
图6示出了根据本发明的实施例的用于实时处理EPA网络数据的系统的架构图。
图7示出了根据本发明的实施例的电子设备的框图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如前文所描述，在如在面向多个EPA设备的实时数据采集需求时，传统的EPA数据处理方式的实时存储性能无法满足数据采集接收的效率。此外，传统的EPA数据处理方法，在面对较多数据量时，解析数据、存储落库以及筛选查询的功能都会异常缓慢，导致内存过载等问题。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本发明的示例实施例提出了一种用于实时处理EPA网络数据的方案，在本发明方案中，通过多个EPA物理数据端口，同步采集多个EPA物理数据端口所连接的EPA设备的实时数据；针对所获取的实时数据，进行初步处理，以便生成多通道的EPA数据，多通道包括对应于每一个EPA物理数据端口的数据通道和一个冗余数据通道；由此，通过多个物理接口和多个数据通道的配合，能够使得EPA采集设备在硬件配置上支持多设备的同步采集，采集的数据生成多通道提高实时处理的效率。
另外，本发明还通过将所生成的多通道的EPA数据以时间序列进行缓存，以生成数据缓存队列；以及基于所获取的关于数据缓存队列的存储策略，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储，存储服务包括与数据通道对应的固定存储服务和多个动态存储服务；由此，通过固定存储服务和动态存储服务的结合，能够使得所获取的关于多个EPA设备的各个通道的数据稳定且高效率的得到处理，而以时间序列进行存储能够极大的提高存储效率，避免数据堆积。因此，本发明能够有效的提高针对多EPA设备的实时数据采集、存储效率。
图1示出了用于实现根据本发明的实施例的用于实时处理EPA网络数据的方法的系统100的示意图。如图1中所示，系统100包括EPA服务器110、EPA数据采集设备130、网络140、存储服务器150和多个EPA设备170。EPA服务器110、EPA数据采集设备130和存储服务器150可以通信连接，例如通过网络140（例如，因特网）进行数据交互，例如通过进程间通讯、例如通过物理通信线路连接等方式。
关于EPA数据采集设备130，被配置为包括多个EPA物理数据端口、每一个EPA数据物理接口被配置为采集与其连接的EPA设备的实时数据；其例如可以具有一个或多个处理单元，包括诸如GPU、FPGA和ASIC等的专用处理单元以及诸如CPU的通用处理单元。
关于存储服务器150，其例如包括缓存服务152、固定存储服务154和动态存储服务156；存储服务器150其例如用于基于用户需求，针对EPA服务器110所传输的EPA数据，提供缓存服务152，以用于多通道的EPA数据以时间序列进行缓存，以生成数据缓存队列；并基于所获取的存储策略，提供固定存储服务154和/或动态存储服务156。
关于EPA服务器110，其例如可以用于调用EPA数据采集设备130的多个EPA物理数据端口，采集多个EPA设备的实时数据；并且，EPA服务器110还可以针对所获取的实时数据，进行初步处理，以便生成多通道的EPA数据，多通道包括对应于每一个EPA物理数据端口的数据通道和一个冗余数据通道；以及，EPA服务器110还可以调用存储服务器150将所生成的多通道的EPA数据以时间序列进行缓存，以生成数据缓存队列；然后，EPA服务器110还可以基于所获取的关于数据缓存队列的存储策略，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储，存储服务包括与数据通道对应的固定存储服务和多个动态存储服务。
由此，能够通过多个EPA物理数据端口同步采集多个EPA设备的实时数据，并将所采集的实时数据初步处理后生成多个数据通道，同步缓存以生成数据缓存队列，之后调用多个存储服务对数据缓存队列中的实时数据进行存储，极大的提高了EPA数据的实时存储效率，支持多EPA设备的数据的并发存储。
EPA服务器110可以具有一个或多个处理单元，包括诸如GPU、FPGA和ASIC等的专用处理单元以及诸如CPU的通用处理单元。另外，在每个EPA服务器110上也可以运行着一个或多个虚拟机。在一些实施例中，EPA服务器110与存储服务器150可以集成在一起，也可以是彼此分立设置。在一些实施例中，EPA服务器110例如包括EPA数据采集模块112、数据处理模块114、缓存模块116、存储服务调用模块118。
关于EPA数据采集模块112，其用于通过多个EPA物理数据端口，同步采集多个EPA物理数据端口所连接的EPA设备的实时数据。
关于数据处理模块114，其用于针对所获取的实时数据，进行初步处理，以便生成多通道的EPA数据，多通道包括对应于每一个EPA物理数据端口的数据通道和一个冗余数据通道。
关于缓存模块116，其用于将所生成的多通道的EPA数据以时间序列进行缓存，以生成数据缓存队列。
关于存储服务调用模块118，其用于基于所获取的关于数据缓存队列的存储策略，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储，存储服务包括与数据通道对应的固定存储服务和多个动态存储服务。
请参考图6示出了根据本发明的实施例的用于实时处理EPA网络数据的系统600的架构图。如图6，系统600包括EPA数据采集设备130、EPA服务器110、存储服务器150、存储性能监测服务180，本地存储190、数据备份服务器192。其中，EPA数据采集设备130包括4个EPA物理数据端口，分别为EPA物理数据端口01、EPA物理数据端口02、EPA物理数据端口03和EPA物理数据端口04；EPA数据采集设备130与EPA服务器110之间通信连接。其中，存储服务器150，包括缓存服务152、固定存储服务154和动态存储服务156，存储服务器150可以部分的或者全部的集成于EPA服务器110；以及，存储服务器150中的各个存储服务可以集成的或分立的设置于各存储设备、云存储服务器等。系统600还包括存储策略620，存储策略620，用于指示缓存服务152的工作，例如通道RABCD的数据进入缓存服务152后生成数据缓存队列，存储策略620能够指示数据缓存队列中的数据具体该如何进行存储。此外，存储服务器150中可预先存储多个预定存储策略620，存储服务器150也可以经由EPA服务器110获取存储策略620，EPA服务器110中可以预先存储有匹配于数据通道RABCD和/或数据缓存队列的存储策略，也可通过与用户交互生成存储策略620。以下将结合图2至6，进一步说明本发明实施例所涉及的各种用于实时处理EPA网络数据的方法、系统和设备。
图2示出了根据本发明的实施例的用于实时处理EPA网络数据的方法200的流程图。方法200可由如图1所示的EPA服务器110执行，也可以在图7所示的电子设备700处执行。应当理解的是，方法200还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本发明的范围在此方面不受限制。
在步骤202，EPA服务器110通过多个EPA物理数据端口，同步采集多个EPA物理数据端口所连接的EPA设备的实时数据。
例如，请参考图6示出的EPA数据采集设备130，包括了4个EPA物理数据端口（01、02、03、04），应当理解图6中所示意的EPA物理数据端口的数量仅是一种举例，根据实际使用场景和设备需求，可以设置更多或者更少的EPA物理数据端口。
在步骤204，EPA服务器110针对所获取的实时数据，进行初步处理，以便生成多通道的EPA数据，多通道包括对应于每一个EPA物理数据端口的数据通道和一个冗余数据通道。
在一些实施例中，EPA服务器110与EPA数据采集设备130之间通过进程间通讯方式传输EPA数据采集设备130采集的关于多个EPA设备的实时数据。通过进程间通讯的方式传输数据，能够高度解耦，降低组件之间的相互影响，以保证EPA数据采集设备130的稳定的性能，在EPA数据采集设备130采集和传输数据时，能够流畅的使用和操作。
例如，请参考图6，EPA服务器110初步处理所获取的实时数据后，生成了RABCD五个通道的EPA数据，其中，通道R为冗余数据通道，通道A对应于EPA物理数据端口01，通道B对应于EPA物理数据端口02，通道C对应于EPA物理数据端口03，通道D对应于EPA物理数据端口04。
由此，在初步处理阶段，EPA服务器110将所收集的数据基于EPA物理数据端口生成对应的数据通道，使得关于多个EPA设备的实时数据能够基于数据的来源EPA设备得到初步分类。
在一些实施例中，冗余数据通道用于接收其他通道的全部数据，或者，接收其他通道非重复的全部数据。
由此，通过冗余数据通道能够收集ABCD数据通道的混合数据，以确保实时数据无遗漏，保证所采集的EPA实时数据的完整性，以及当ABCD数据通道负载较大时，通过冗余数据通道快速向数据缓存队列传送初步处理后的EPA实时数据，避免数据在通道中堆积。
下文将结合图3详细说明针对所获取的实时数据进行初步处理的方法，此处不在赘述。
在步骤206，EPA服务器110将所生成的多通道的EPA数据以时间序列进行缓存，以生成数据缓存队列。
例如，请参考图6，EPA服务器110可调用缓存服务152，以时间序列进行缓存多通道的EPA数据，并生成数据缓存队列；通过时间序列对EPA数据进行缓存，能够极大的提高存储效率。
例如，在一些实施例中，上述方法还包括响应于确定用户操作符合预定条件，配置以下一项或多项：各数据通道开启与关闭、切换冗余数据通道的接收状态、配置EPA物理数据端口的开启与关闭。由此，通过与用户的交互，能够实现对物理数据端口、及多通道数据的传输状态进行控制，能够使得EPA数据的快速存储更有序、可控。
在步骤208，EPA服务器110基于所获取的关于数据缓存队列的存储策略，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储，存储服务包括与数据通道对应的固定存储服务和多个动态存储服务。
在一些实施例中，存储策略至少指示将数据缓存队列中的EPA数据进行存储的方式、存储的位置和所需调用的存储服务。下文将结合图4详细说明对每一个数据通道的EPA数据进行存储的方法，此处不在赘述。
在一些实施例中，调用存储服务针对与其对应的通道的EPA数据进行处理，包括调用对应于所要存储的EPA数据的来源通道的固定存储服务，以及调用动态存储服务。下文将结合图5详细说明调用存储服务的方法，此处不在赘述。
在一些实施例中，每一个数据通道对应于至少一个固定存储服务；每一个固定存储服务仅对应于一个数据通道；以及每一个固定存储服务对应于至少一个物理存储核心。
关于物理存储核心，其例如是CPU（中央处理器）、例如是多核心处理器的物理核心，例如参考图6，固定存储服务RABCD分别绑定CPU中的某一个或者某几个物理处理核心。
例如，存储服务器150搭载有一颗8物理核心处理器F，固定存储服务A对应于处理器F的核心1、固定存储服务B对应于处理器F的核心2、固定存储服务C对应于处理器F的核心3、固定存储服务D对应于处理器F的核心4、固定存储服务R对应于处理器F的核心5、动态服务（D1-D5）对应于处理器F的核心5至核心8。
由此，每一个固定存储服务对应于至少一个物理存储核心（固定处理资源），能够保证该物理存储核心用于对应通道数据的存储，保证存储数据的稳定性，以满足EPA网络对数据稳定性的需求。
例如，基于多个固定存储服务之间的优先级，响应于动态存储服务满载，将优先级在先的存储服务在数据缓存队列中所对应的缓存数据、分流至优先级在后的固定存储服务，并暂停处理在后的固定存储服务所对应的数据通道的缓存数据。由此，固定存储服务可通过设置优先级进行保优设置，如配置为动态服务均占满时，通过暂停低优先级的固定存储服务原对应通道数据的处理，使低优先级的固定存储服务处理高优先级的通道数据，以保证优先级高的通道数据快速处理完成。
在一些实施例中，多个动态存储服务的数量大于或者等于固定存储服务的数量；以及多个动态存储服务被配置为与至少一个物理存储核心和/或虚拟存储核心对应。
在一些实施例中，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储包括：调用多个动态存储服务，对每一个数据通道的EPA数据进行存储时，共用动态存储服务所对应的至少一个物理存储核心和/或虚拟存储核心。
例如，请参考图6，图6中示意的系统600中动态服务的数量为5，固定存储服务的数量也为5，应当理解，在其他场景中可以根据需求设置更多数量的动态服务。
例如，图6中示意的动态服务D1-动态服务D5，对应于处理器M的2个物理核心和2个虚拟核心，在动态服务D1-动态服务D5被用于对EPA数据进行存储时，共用处理器M的2个物理核心和2个虚拟核心。
由此，多个动态存储服务共用物理存储核心和/或虚拟存储核心，能够使得计算资源根据存储数据的变化，得到动态调整以及时响应EPA数据的存储需求。
在一些实施例中，可采用分布式文件系统，EPA服务器110可调用存储服务器150将多通道EPA数据存储在多个存储节点上，实现EPA数据的分布式存储和并行处理，从而提高存储和读写的并发性和速度。
在一些实施例中，基于多通道EPA数据，在存储多通道EPA数据时，对数据进行分区和负载均衡，例如将数据按通道（或按来源设备）分割成多个分区，并使用负载均衡算法将数据均匀地分布在多个存储节点上，可以实现数据的并发存储和访问，可以避免单个节点成为性能瓶颈，并提高整体的存储吞吐量。
在上述方案中，在进行原始EPA数据的采集时，上述方法基于Client-Server(C/S，客户端-服务器)架构，在EPA数据采集设备端（客户端）提供多条EPA物理数据端口，用于EPA数据的多端口采集，能够从物理层提高EPA数据的实时采集效率；以及将所采集到的EPA数据分为多个通道；在对所采集的原始数据进行初步处理时，可针对每一个EPA物理数据端口生成对应的通道数据，实现对数据的初步分类，以及配合一个冗余通道确保了初步处理后所获得的EPA数据的安全性和稳定性；在存储阶段，以时间序列对多通道的EPA数据进行缓存能够极高效率的建立数据缓存队列，而基于存储策略，调用存储服务，又能够基于固定存储服务将对应通道的EPA数据快速存储，动态存储服务与固定存储服务的配合，能够满足多EPA设备的现场采集实时数据的高速、并发存储。
图3示出了根据本发明的实施例的用于针对所获取的实时数据进行初步处理的方法300的流程图。方法300可由如图1所示的EPA服务器110执行，也可以在图7所示的电子设备700处执行。应当理解的是，方法300还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本发明的范围在此方面不受限制。
在步骤302，EPA服务器110针对所获取的实时数据，将不满足关于EPA数据的预定格式的实时数据过滤。
关于不满足关于EPA数据的预定格式的实时数据，其例如非EPA报文数据、例如为无效数据、例如为空数据等，初步处理后留存的实时数据都是EPA数据。
在一些实施例中，EPA服务器110可以通过调用中间件对现场实时采集的EPA数据进行初步处理，例如基于EPA协议栈，将不满足长度相等的数据，进行剔除，初步处理后将保留需要的EPA数据。
在步骤304，EPA服务器110校验过滤后的实时数据的EPA数据头和标志位。
在步骤306，EPA服务器110针对校验后的实时数据，至少剔除已校验完成的实时数据的EPA数据头。
关于剔除EPA数据头，由于经过初步处理后所获取的都是EPA数据，EPA数据头用于识别报文是否为EPA数据，剔除数据头能够节约存储空间。
在步骤308，EPA服务器110基于被剔除EPA数据头的实时数据，生成对应于每一个数据通道的多通道的EPA数据。
EPA服务器110，在初步阶段对所获取的实时数据还可以进行数据解析工作，例如解析实时数据的相关的类型、采集设备、采集端口、采集时间，标志位等字段，并实时数据将解析为字符串等。
由此，能够通过初步处理，对多个EPA物理数据端口所采集的实时数据进行过滤和筛选，从中筛选出有效的实时EPA数据，并针对这些实时EPA数据进行解析，以便存储阶段对每条数据设置标签。
图4示出了根据本发明的实施例的用于对每一个数据通道的EPA数据进行存储的方法400的流程图。方法400可由如图1所示的EPA服务器110执行，也可以在图7所示的电子设备700处执行。应当理解的是，方法400还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本发明的范围在此方面不受限制。
在步骤402，EPA服务器110基于存储策略，确定每一个数据通道的EPA数据的存储位置、所需调用的存储服务和存储方式。
在一些实施例中，存储策略用于指示数据缓存队列中的每一个通道的EPA数据的合并存储、每一个通道的EPA数据的拆分存储、存储的顺序、存储的方式（包括在内存中的存储方式和硬盘中的存储方式）、每一个通道的EPA数据的存储的位置（包括在存储于内存、存储于硬盘中的位置）、每一个通道的EPA数据的所需的存储标签信息。
在一些实施例中，存储策略可基于待采集EPA设备的类型、数据通道的参数等，预定于存储服务器150中，也可以基于用户的操作指令实时生成存储策略，还可以通过用户与EPA数据采集设备130的交互、或与EPA服务器110的交互生成存储策略。
关于所需的存储标签信息，其例如关于数据的采集时间、来源设备（产生于哪一个被采集数据的EPA设备）、采集EPA物理数据端口等；例如在按时间顺序将数据缓存队列中的每一个通道的EPA数据存储入内存中时，为每一条EPA数据赋予时间信息的同时，还赋予与来源设备相关的标签信息。
在步骤404，EPA服务器110基于所确定的存储方式，对数据缓存队列中的关于同一数据通道的EPA数据进行合并，以便将合并后的关于同一数据通道的EPA数据存入所对应的内存。
由此，将数据缓存队列中的EPA数据存储在内存中，可以提供极高的读写速度和并发性。通过将热数据保持在内存中，可以减少存储访问的延迟，并实现实时数据处理和查询。
在步骤406，EPA服务器110基于所确定的存储方式，对已存入内存的关于同一数据通道的EPA数据进行合并，以便将合并后的内存中的EPA数据存入所对应的硬盘的区域。
关于硬盘的区域，其例如为某一个文件夹所映射的硬盘区域，或者是硬盘的某一个分区。
在一些实施例中，通过配置高速存储介质，如固态硬盘，可以提供更快的数据读写速度和更高的并发性能，与传统的机械硬盘相比有明显的性能优势。
例如，请参考图6，当有来自于通道R、通道A、通道B、通道C和/或通道D的写入请求到达时，首先将对请求写入的数据写入缓存服务150，生成数据缓存队列。在请求写入的数据到达固定存储服务、或动态存储服务之前，这些请求写入的数据已经被记录到数据缓存队列中，并生成写入操作的日志，这确保了即使在写入过程中出现故障，数据仍然可以被恢复。例如，请求写入的数据首先在内存中进行缓存，根据通道的字段，进行分类，然后可基于存储策略620，基于数据通道、或基于数据的来源设备，将数据缓存队列中的多通道EPA数据定期批量的写入到对应的固定存储服务和/或动态存储服务中。采用批处理的方式将数据一次性写入存储服务，而不是一个一个单独写入。降低了写入的开销，特别是在高并发写入的情况下。此外，定期执行合并操作，定期将存储服务中的多个按时间序列存储的EPA数据文件合并成一个，以提高查询性能和减小存储空间占用，此外在合并的过程中根据实际需求进行压缩和索引操作，以进一步节约存储空间，提高查询性能。
此外，请继续参考图6，针对写入固定存储服务154、动态存储服务156和/或本地存储190的数据进行安全加密，例如使用PGP（Pretty Good Privacy，优良保密协议）加密验证程序，还例如采用加密算法加密与验证。在一些实施例中，还包括实时监控存储服务器150和/或本地存储的安全状态，确保实时环境数据的安全性和隐私保护，包括对数据进行加密、访问控制和身份验证，以防止数据泄露或未经授权的访问。
在一些实施例中，当本地存储190的EPA数据存储满载后，通过数据备份服务器192进行数据迁移和数据备份，从而确保EPA数据采集和传输的连续性和可靠性。
图5示出了根据本发明的实施例的用于调用存储服务的方法500的流程图。方法500可由如图1所示的EPA服务器110执行，也可以在图7所示的电子设备700处执行。应当理解的是，方法500还可以包括未示出的附加步骤和/或可以省略所示出的步骤，本发明的范围在此方面不受限制。
在步骤502，EPA服务器110实时监测运行中的存储服务的状态，以获取关于运行中的存储服务的存储时长信息和存储数量信息。
其中，存储时长信息指示存储服务存储预定数量的数据所需要的时长，存储数量信息指示存储服务在预定时长中存储的数据数量。
请参考图6，在一些实施例中，通过监测服务180针对存储服务器中各存储服务，如动态存储服务D1-动态存储服务D5、固定存储服务RABCD的状态进行实时监测。
在步骤504，EPA服务器110针对所获取的关于运行中的存储服务的存储时长信息、存储数量信息和数据缓存队列中的数据数量信息，分别与标准存储时长、标准存储数量和数据缓存队列数据量阈值进行比较，以便确定多个动态存储服务中每一个动态存储服务的开启和关闭。
在一些实施例中，确定多个动态存储服务中每一个动态存储服务的开启和关闭包括：响应于确定存储时长信息大于标准存储时长、存储数量信息小于标准存储数量和/或数据缓存队列中的数据数量大于数据缓存队列数据量阈值，增加一个动态存储服务的开启；以及响应于确定存储时长信息小于或者等于标准存储时长、存储数量信息大于或者等于标准存储数量并且数据缓存队列中的数据数量小于或者等于数据缓存队列数据量阈值，关闭多个动态存储服务中的一个动态存储服务。
由此，通过调整动态存储服务的开启数量，能够高效率的控制存储资源，避免造成资源浪费，也可以及时响应于固定存储服务的性能告罄，及时开启动态存储服务以满足数据的实时高并发存储需求。
例如，请参考图6，当存储服务器150启动时，固定存储服务RABCD均启动，动态存储服务均默认关闭，通过监测服务180对各个固定存储服务的数据状态，以及各通道的EPA数据在数据缓存队列中的数据量进行监测，当任一固定存储服务无法满足存储需求时，开启若干个动态存储服务，以辅助其解析待存储的EPA数据。
关于标准存储时长和标准存储数量，在存储服务器150初始化时，设备将模拟一次当前机器落库速率，以作为标准存储参数，在后续运行过程中根据所获取的标准存储参数（例如标准存储时长和标准存储数量），进行动态计算，以调整动态存储服务。
例如，在存储服务器150初始化时：1）持续模拟存储数据，测试存储2w条数据需要时长，以该时长作为标准存储时长；2）持续模拟存储数据，测试1s存储的数据条数，以该1s的存储数量作为标准存储数量；据此得到的标准存储时长和标准存储数量，作为当前存储服务器150的性能标准值。
继续上述例子，通过检测服务180，对当前存储服务状态进行监测，例如设定3个监测条件：1）当数据缓存队列中数据大于12万条；2）当单个处理服务每秒处理的数据数量大于标准存储数量；3）当单个处理服务存储2万条数据时长大于标准存储时长；当上述满足任意一条件，新增一个动态存储服务的开启；当上述三个条件均未满足，如果开启了动态存储服务，则会关闭一个动态存储服务；若当动态存储服务均开启，且数据缓存队列中的数据大于12万条，则给向用户发起告警，告警存储服务器150已到性能瓶颈。
在一些实施例中，实时计算关于固定存储服务的性能参数，性能参数与所对应的固定存储服务的当前任务量、动态数据最大数量、解析时间和标准解析时间相关；基于所计算的性能参数，确定与性能参数对应的固定存储服务从数据缓存队列中获取下一组数据的数据量和/或时间，例如基于性能参数，增加或减少下一组数据的数据量，和/或推迟或提前获取下一组数据的数据量的时间。
在一些实施例中，固定存储服务的性能参数为Ta，Ta = (Tc / Mtc) * (At /St)， Tc表示固定存储服务的当前任务量，Mtc表示固定存储服务的动态数据最大数量，At表示解析时间，St表示标准解析时间， Ta的初始值为1，若当前固定存储服务的性能参数Ta大于1且小于2时，启动动态存储微服务，且在下一次从数据缓存队列中获取关于当前固定存储服务的数据时，将所获取的关于当前固定存储服务的数据量降低至标准数据量的1/2；若当前固定存储服务的性能参数Ta大于或者等于2，启动至少2个动态存储服务。
在一些实施例中，针对每个固定存储服务和动态存储服务中的每个存储服务的分配任务的方式还可以通过如下公式（1）进行配置：
Ta = (Tc / Mtc) * (At / St) （1）
其中，Ta表示端口的性能参数，Tc表示端口当前任务量，Mtc表示端口动态数据最大数量，At表示解析时间，St表示标准解析时间；其中，一个端口代表一个存储服务，如图6中的R、A、B、C、D、D1、D2、D3、D4、D5分别对应一个端口。
其中，性能参数Ta的初始值为1，每个端口的动态最大数据量为20000，标准存储时间为1s（以每20000条数据的存储时间为标准）；端口当前任务量为实时缓存中统计数据量，端口解析时间At （对应于上述标准存储时间，以每20000条数据的解析时间为端口的At）。由于处理性能为非线性倍数增加，Ta的数值可用来计算从数据缓存队列中获取下一组数据的多少。
继续上述例子，固定存储服务的Ta标准值为1。当数值越大的时候，代表处理性能不够不足；数值小，代表性空闲。
当任意1个固定存储服务的Ta值大于1，并且小于2的时候会启动动态存储服务，进行辅助处理，当前处理服务的数据不变持续处理，下一组获取的数据数量减少为标准值的1/2。
当任意1个固定存储服务的Ta大于2的时候，启动2个动态存储服务进行辅助处理，当前处理服务的数据不变持续处理，下一组获取的数据数量不再向本服务继续分发数据。固定存储服务直到系数降低小于1的时候，则停止动态服务处理。
当任意1个或多个固定存储服务的Ta大于2的时候，系统进行超负荷报警，并至少停止处理（ABCD四端口）数据，R端口如果处于开启状态，继续进行处理。
当固定存储服务之间存在优先级差异时，多个动态个存储服务均已启动，且有至少1个固定存储服务的Ta大于1的时，停止低优先级通道的数据采集，且固定存储服务端停止处理低优先级通道数据，将低优先级通道数据对应的固定存储服务用于处理优先级较高的通道数据，并进行系统报警。
图7示出了可以用来实施本说明书内容的实施例的示例电子设备700的示意性步骤图。例如，如图1所示的EPA服务器110可以由电子设备700来实施。如图所示，电子设备700包括中央处理单元（CPU）701，其可以根据存储在只读存储器（ROM）702中的计算机程序指令或者从存储单元708加载到随机存取存储器（RAM）703中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器703中，还可存储电子设备700操作所需的各种程序和数据。中央处理单元701、只读存储器702以及随机存取存储器703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。
电子设备700中的多个部件连接至输入/输出接口705，包括：输入单元706，例如键盘、鼠标、麦克风等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200至500，可由中央处理单元701执行。例如，在一些实施例中，方法200至500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序被加载到随机存取存储器703并由中央处理单元701执行时，可以执行上文描述的方法200至500的一个或多个动作。
本发明涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或步骤图描述了本发明的各个方面。应当理解，流程图和/或步骤图的每个方步骤以及流程图和/或步骤图中各方步骤的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或步骤图中的一个或多个方步骤中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或步骤图中的一个或多个方步骤中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或步骤图中的一个或多个方步骤中规定的功能/动作。
附图中的流程图和步骤图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或步骤图中的每个方步骤可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方步骤中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，步骤图和/或流程图中的每个方步骤、以及步骤图和/或流程图中的方步骤的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种用于实时处理EPA网络数据的方法，包括：
通过多个EPA物理数据端口，同步采集所述多个EPA物理数据端口所连接的EPA设备的实时数据；
针对所获取的实时数据，进行初步处理，以便生成多通道的EPA数据，所述多通道包括对应于每一个EPA物理数据端口的数据通道和一个冗余数据通道；冗余数据通道用于接收其他通道的全部数据、或者接收其他通道非重复的全部数据；
将所生成的多通道的EPA数据以时间序列进行缓存，以生成数据缓存队列；以及
基于所获取的关于所述数据缓存队列的存储策略，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储，所述存储服务包括与数据通道对应的固定存储服务和多个动态存储服务；
基于所述存储策略，确定每一个数据通道的EPA数据的存储位置、所需调用的存储服务和存储方式；以及
实时监测运行中的存储服务的状态，以获取关于运行中的存储服务的存储时长信息和存储数量信息，以便确定所述多个动态存储服务中每一个动态存储服务的开启和关闭。
2.根据权利要求1所述的方法，其特征在于，针对所获取的实时数据，进行初步处理，以便生成多通道的EPA数据包括：
针对所获取的实时数据，将不满足关于EPA数据的预定格式的实时数据过滤；
校验过滤后的实时数据的EPA数据头和标志位；
针对校验后的实时数据，至少剔除已校验完成的实时数据的EPA数据头；以及
基于被剔除EPA数据头的实时数据，生成对应于每一个数据通道的多通道的EPA数据。
3.根据权利要求1所述的方法，其特征在于，
每一个数据通道对应于至少一个固定存储服务；
每一个固定存储服务仅对应于一个数据通道；以及
每一个固定存储服务对应于至少一个物理存储核心。
4. 根据权利要求3所述的方法，其特征在于，
所述多个动态存储服务的数量大于或者等于固定存储服务的数量；以及
所述多个动态存储服务被配置为与至少一个物理存储核心和/或虚拟存储核心对应。
5.根据权利要求4所述的方法，其特征在于，调用至少一个存储服务，对每一个数据通道的EPA数据进行存储包括：
调用多个动态存储服务，对每一个数据通道的EPA数据进行存储时，共用动态存储服务所对应的至少一个物理存储核心和/或虚拟存储核心。
6. 根据权利要求1所述的方法，其特征在于，对每一个数据通道的EPA数据进行存储包括：
基于所确定的存储方式，对所述数据缓存队列中的关于同一数据通道的EPA数据进行合并，以便将合并后的关于同一数据通道的EPA数据存入所对应的内存；以及
基于所确定的存储方式，对已存入内存的关于同一数据通道的EPA数据进行合并，以便将合并后的内存中的EPA数据存入所对应的硬盘的区域。
7.根据权利要求6所述的方法，其特征在于，基于所获取的关于所述数据缓存队列的存储策略，调用至少一个存储服务包括：
针对所获取的关于运行中的存储服务的存储时长信息、存储数量信息和数据缓存队列中的数据数量信息，分别与标准存储时长、标准存储数量和数据缓存队列数据量阈值进行比较；
其中，所述存储时长信息指示存储服务存储预定数量的数据所需要的时长，所述存储数量信息指示存储服务在预定时长中存储的数据数量。
8. 根据权利要求7所述的方法，其特征在于，确定所述多个动态存储服务中每一个动态存储服务的开启和关闭包括：
响应于确定存储时长信息大于标准存储时长、存储数量信息小于标准存储数量和/或数据缓存队列中的数据数量大于数据缓存队列数据量阈值，增加一个动态存储服务的开启；以及
响应于确定存储时长信息小于或者等于标准存储时长、存储数量信息大于或者等于标准存储数量并且数据缓存队列中的数据数量小于或者等于数据缓存队列数据量阈值，关闭所述多个动态存储服务中的一个动态存储服务。
9.一种计算设备，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
CN202311711640.9A 2023-12-13 2023-12-13 用于实时处理epa网络数据的方法、计算设备和存储介质 Active CN117389486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311711640.9A CN117389486B (zh) 2023-12-13 2023-12-13 用于实时处理epa网络数据的方法、计算设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311711640.9A CN117389486B (zh) 2023-12-13 2023-12-13 用于实时处理epa网络数据的方法、计算设备和存储介质

Publications (2)

Publication Number Publication Date
CN117389486A CN117389486A (zh) 2024-01-12
CN117389486B true CN117389486B (zh) 2024-04-19

Family

ID=89470718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311711640.9A Active CN117389486B (zh) 2023-12-13 2023-12-13 用于实时处理epa网络数据的方法、计算设备和存储介质

Country Status (1)

Country Link
CN (1) CN117389486B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061752A (zh) * 2019-12-23 2020-04-24 宁波三星医疗电气股份有限公司 数据处理方法、装置及电子设备
CN113010565A (zh) * 2021-03-25 2021-06-22 腾讯科技（深圳）有限公司 基于服务器集群的服务器实时数据处理方法及系统
CN113934529A (zh) * 2020-12-31 2022-01-14 技象科技(浙江)有限公司 多级别核心的任务调度方法、装置、系统和存储介质
CN114528179A (zh) * 2022-01-21 2022-05-24 北京麦克斯泰科技有限公司 数据采集程序状态监控方法、装置、设备及存储介质
CN115098486A (zh) * 2022-07-14 2022-09-23 广东嘉贸通科技有限公司 基于海关业务大数据的实时数据采集方法
CN115167758A (zh) * 2022-06-08 2022-10-11 阿里巴巴（中国）有限公司 存储器的存取控制方法、存储系统及计算机可读存储介质
CN115361402A (zh) * 2022-08-12 2022-11-18 茂名市云计算研究院 一种基于云计算的大数据信息处理方法和系统
CN115510138A (zh) * 2022-09-30 2022-12-23 广东舜势测控设备有限公司 数据管理方法、装置、电子设备和可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11687251B2 (en) * 2021-09-28 2023-06-27 Advanced Micro Devices, Inc. Dynamic repartition of memory physical address mapping

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061752A (zh) * 2019-12-23 2020-04-24 宁波三星医疗电气股份有限公司 数据处理方法、装置及电子设备
CN113934529A (zh) * 2020-12-31 2022-01-14 技象科技(浙江)有限公司 多级别核心的任务调度方法、装置、系统和存储介质
CN113010565A (zh) * 2021-03-25 2021-06-22 腾讯科技（深圳）有限公司 基于服务器集群的服务器实时数据处理方法及系统
CN114528179A (zh) * 2022-01-21 2022-05-24 北京麦克斯泰科技有限公司 数据采集程序状态监控方法、装置、设备及存储介质
CN115167758A (zh) * 2022-06-08 2022-10-11 阿里巴巴（中国）有限公司 存储器的存取控制方法、存储系统及计算机可读存储介质
CN115098486A (zh) * 2022-07-14 2022-09-23 广东嘉贸通科技有限公司 基于海关业务大数据的实时数据采集方法
CN115361402A (zh) * 2022-08-12 2022-11-18 茂名市云计算研究院 一种基于云计算的大数据信息处理方法和系统
CN115510138A (zh) * 2022-09-30 2022-12-23 广东舜势测控设备有限公司 数据管理方法、装置、电子设备和可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于交换式技术的工业以太网实时性问题的研究;黄安贻, 叶菁;机电工程技术;20050430(第04期);第2-3节 *
黄安贻,叶菁.基于交换式技术的工业以太网实时性问题的研究.机电工程技术.2005,(第04期),第2-3节. *

Also Published As

Publication number Publication date
CN117389486A (zh) 2024-01-12

Similar Documents

Publication Publication Date Title
CN110892380B (zh) 用于流处理的数据处理单元
EP3607705B1 (en) Intelligent thread management across isolated network stacks
US20200301728A1 (en) System and method for distributed security forensics using process path encoding
US20130219405A1 (en) Apparatus and method for managing data stream distributed parallel processing service
US20130332612A1 (en) Transmission of map/reduce data in a data center
US20200007445A1 (en) Enhanced service function chain
US8463928B2 (en) Efficient multiple filter packet statistics generation
US9398117B2 (en) Protocol data unit interface
US20220035322A1 (en) Intelligent operation control apparatus and system
CN114928579B (zh) 数据处理方法、装置、计算机设备及存储介质
US20140012890A1 (en) Information processing system and control method thereof
CN114363269B (zh) 一种消息传输方法、系统、设备以及介质
CN117642724A (zh) 使用无服务器计算系统的流式分析
CN110868323A (zh) 一种带宽控制方法、装置、设备及介质
CN117389486B (zh) 用于实时处理epa网络数据的方法、计算设备和存储介质
CN113660136A (zh) 双路交换机端口可用性检查方法、装置、设备及存储介质
CN111158782B (zh) 一种基于DPDK技术的Nginx配置热更新系统和方法
US20230328132A1 (en) System and method for midserver integration and transformation of telemetry for cloud - based services
CN114731342A (zh) 从边缘设备到远程网络的托管数据导出
CN115499889B (zh) 基于vpp的upf转发面实现方法、装置、系统及相关设备
US20060294072A1 (en) Extensible workflows
CN214337935U (zh) 智能运算控制装置
CN106549969B (zh) 数据过滤方法及装置
Channegowda et al. Optical flyways for handling elephant flows to improve big data performance in SDN enabled Datacenters
CN113986653A (zh) 一种openstack负载均衡数据监控的方法、系统、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant