CN117520011A - 一种实时数据内存的共享管理方法及系统 - Google Patents
一种实时数据内存的共享管理方法及系统 Download PDFInfo
- Publication number
- CN117520011A CN117520011A CN202311491745.8A CN202311491745A CN117520011A CN 117520011 A CN117520011 A CN 117520011A CN 202311491745 A CN202311491745 A CN 202311491745A CN 117520011 A CN117520011 A CN 117520011A
- Authority
- CN
- China
- Prior art keywords
- data
- emergency
- real
- dynamic monitoring
- monitoring window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 92
- 238000007726 management method Methods 0.000 title claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 157
- 238000000034 method Methods 0.000 claims abstract description 107
- 238000012544 monitoring process Methods 0.000 claims abstract description 99
- 238000004458 analytical method Methods 0.000 claims abstract description 43
- 230000002159 abnormal effect Effects 0.000 claims description 30
- 230000005856 abnormality Effects 0.000 claims 1
- 238000013500 data storage Methods 0.000 claims 1
- 238000007405 data analysis Methods 0.000 abstract description 4
- 230000001105 regulatory effect Effects 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000013507 mapping Methods 0.000 description 19
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010248 power generation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012367 process mapping Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/544—Buffers; Shared memory; Pipes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种实时数据内存的共享管理方法及系统，其通过在实时数据队列中设置动态监测窗口的方式分析当前时刻下数据的紧急程度，并根据数据紧急程度值将数据发送给不同的数据处理单元，使得紧急的数据能够优先被处理速率快的数据处理单元处理，保证数据的时效性。而对于一些紧急程度不高的数据，则可以将其分配给占用内存资源较少的数据处理单元处理，以节约计算资源。同时，本发明中还根据与数据紧急程度值成反比的规则调整动态监测窗口的大小，使得数据紧急时提高数据分析速度，数据不紧急时具备较宽的分析视野，能够更加快速的识别紧急情况。相比于现有技术，本发明在节约计算资源的同时，保证数据能够被实时处理。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种实时数据内存的共享管理方法、系统、设备及介质。
背景技术
随着信息化的到来，人们生活中的各种设施也变得越来越智能化。在这个智能化的浪潮下，智能水电站成为其中之一的代表。
智能水电站通过引入先进的技术和系统，实现了自动化和智能化的运行。它们具备了更高效、更智能的监测、控制、优化和管理能力。例如，智能操控系统可以通过实时监测电力负荷，自动调整发电和供电的平衡，以满足不同时间段的用电需求。智能的传感器和监测设备能够实时监测水流、水位和发电参数等关键信息，帮助优化发电效率，并及时发现并处理问题。
然而，随着智能水电站运行所产生的数据不断增长，并且对数据实时性的要求也越来越高，人们面临着一个挑战：有限的计算资源。有限的计算资源无法满足智能水电站对大规模数据处理和实时决策的需求。因此，人们需要一种新的实时数据内存的共享管理方法，以充分利用有限的计算资源，同时确保数据能够被及时处理。
发明内容
有鉴于此，有必要提供一种实时数据内存的共享管理方法及系统，用以解决现有技术中有限的计算资源下无法保证数据处理实时性的问题。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种实时数据内存的共享管理方法，包括：
在实时数据队列中设置动态监测窗口，并分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值；
根据所述数据紧急程度值调整所述动态监测窗口的大小，所述动态监测窗口的大小和所述数据紧急程度值代表的数据紧急程度成反比；
根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述目标数据处理单元为多个数据处理单元中的一个，不同数据处理单元中，一个数据处理进程映射的内存大小不同。
进一步的，所述分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值，包括：
基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数；
根据多种预设分析指标对应的紧急系数，得到所述数据紧急程度值。
进一步的，所述实时数据队列中的数据包括具备时间戳的数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
根据所述动态监测窗口中具备时间戳的数据，得到所述动态监测窗口中的数据的平均数据到达间隔；
根据所述平均数据到达间隔，得到第一紧急系数。
进一步的，所述实时数据队列中的数据包括异常提示数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
计算所述动态监测窗口中的异常提示数据在所述动态监测窗口中的数据中所占的比例，得到异常数据比例；
根据所述异常数据比例，得到第二紧急系数。
进一步的，所述实时数据队列中的数据包括数值数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
获取预设异常数值范围；
统计所述动态监测窗口中，超出预设异常数值范围的数值数据的个数，得到异常数据个数；
根据所述异常数据个数，得到第三紧急系数。
进一步的，所述实时数据队列中的数据包括优先级数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
计算所述动态监测窗口中的所有优先级数据的平均值，得到平均优先级；
根据平均优先级，得到第四紧急系数。
进一步的，所述根据多种预设分析指标对应的紧急系数，得到所述数据紧急程度值，包括：
通过下式得到所述数据紧急程度值：
其中，U表示数据紧急程度值，C1表示第一紧急系数，C2表示第二紧急系数，C3表示第三紧急系数，C4表示第四紧急系数，ω1、ω2、ω3、ω4分别为不同的权重系数。
进一步的，所述多个数据处理单元包括第一数据处理单元、第二数据处理单元和第三数据处理单元，其中，所述第一数据处理单元中一个数据处理进程映射有一个单位的内存，所述第二数据处理单元中多个数据处理进程映射有一个单位的内存，所述第三数据处理单元中一个数据处理进程映射有多个单位的内存；
所述根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理，包括：
若所述数据紧急程度值超过第一预设阈值，则将所述第一数据处理单元作为所述目标数据处理单元；
若所述数据紧急程度值超过第二预设阈值但没超过所述第一预设阈值，则将所述第二数据处理单元作为所述目标数据处理单元；
若所述数据紧急程度值超过第三预设阈值但没超过所述第二预设阈值，则将所述第三数据处理单元作为所述目标数据处理单元；
将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述数据紧急程度值越大表示数据的紧急程度越高，所述第一预设阈值大于所述第二预设阈值，所述第二预设阈值大于所述第三预设阈值。
进一步的，所述根据所述数据紧急程度值调整所述动态监测窗口的大小，包括：
判断所述数据紧急程度值和预设调整阈值的关系；
若所述数据紧急程度值大于所述预设调整阈值，则所述动态监测窗口长度增加；
若所述数据紧急程度值小于所述预设调整阈值，则所述动态监测窗口长度减少。
第二方面，本发明还提供一种实时数据内存的共享管理系统，包括：
窗口监测模块，用于在实时数据队列中设置动态监测窗口，并分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值；
窗口调整模块，用于根据所述数据紧急程度值调整所述动态监测窗口的大小，所述动态监测窗口的大小和所述数据紧急程度值代表的数据紧急程度成反比；
数据发送模块，用于根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述目标数据处理单元为多个数据处理单元中的一个，不同数据处理单元中，一个数据处理进程映射的内存大小不同。
本发明提供一种实时数据内存的共享管理方法及系统，其通过在实时数据队列中设置动态监测窗口的方式分析当前时刻下数据的紧急程度，并数据紧急程度值将数据发送给不同的数据处理单元，多个数据处理单元中，一个数据处理进程映射的内存大小不同，表示其处理数据的速率不同，同时占用的内存资源也不同。本发明根据数据紧急程度值将数据发送给最合适的目标数据处理单元处理，使得紧急的数据能够优先被处理速率快的数据处理单元处理，保证数据的时效性。而对于一些紧急程度不高的数据，则可以将其分配给处理速度较低，但是占用内存资源较少的数据处理单元处理，以节约计算资源。同时，本发明中还根据与数据紧急程度值成反比的规则调整动态监测窗口的大小，使得数据紧急时，动态监测窗口较小，提高数据分析速度，数据不紧急时，动态监测窗口较大，具备较宽的分析视野，能够更加快速的识别紧急情况。相比于现有技术，本发明利用高效的算法，使得计算资源得到了更充分的利用。这样一来，智能水电站可以在节约计算资源的同时，保证数据能够被实时处理。这种共享管理方法不仅能提高智能水电站的效率和响应速度，还能有效降低计算成本。
附图说明
图1为本发明提供的实时数据内存的共享管理方法一实施例的方法流程图；
图2为图1中步骤S101一实施例的方法流程图；
图3为本发明提供的实时数据内存的共享管理系统一实施例的系统架构图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在阐述具体实施例前，先对本发明中的相关概念做出解释：
进程映射内存：一个进程可以映射多个物理内存区域。在操作系统中，通过使用内存映射机制，进程可以将多个物理内存区域映射到自己的虚拟地址空间中。每个映射区域由起始地址、大小和访问权限等属性定义。进程可以通过读写这些映射区域来直接访问物理内存中的数据。
进程映射内存可以实现多个进程之间的内存共享，通过将相同的物理内存区域映射到多个进程的虚拟地址空间中，这些进程可以直接访问相同的内存数据，避免了数据的复制和传输，提高了效率和性能。这在并发编程、多进程协作、进程间通信等方面具有重要作用。同时，通过映射内存，进程可以直接访问和操作内存中的数据，无需通过复制和传输数据。这样可以简化数据处理和操作的过程，提高程序的效率和简洁性。映射内存可以将数据和代码置于内存中，提高数据和代码的访问速度。相比于从硬盘或网络读取数据，内存访问速度更快。因此，通过适当的内存映射方式，可以优化程序的性能，提高运行效率。
可以理解的是，后文中出现的其他技术名词、英文缩写等均为现有技术，本领域技术人员能够根据上下文理解其意义，本文中因篇幅原因不做过多说明。
在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种实时数据内存的共享管理方法及系统，以下分别进行说明。
结合图1所示，本发明的一个具体实施例，公开了一种实时数据内存的共享管理方法，包括：
S101、在实时数据队列中设置动态监测窗口，并分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值；
S102、根据所述数据紧急程度值调整所述动态监测窗口的大小，所述动态监测窗口的大小和所述数据紧急程度值代表的数据紧急程度成反比；
S103、根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述目标数据处理单元为多个数据处理单元中的一个，不同数据处理单元中，一个数据处理进程映射的内存大小不同。
需要说明的是，上述过程中的数据处理单元，可以为同一个硬件设施中不同的数据处理模块(如数据处理程序)，也可以分别为不同的硬件设备(如服务器、终端等)。
本发明提供一种实时数据内存的共享管理方法及系统，其通过在实时数据队列中设置动态监测窗口的方式分析当前时刻下数据的紧急程度，并数据紧急程度值将数据发送给不同的数据处理单元，多个数据处理单元中，一个数据处理进程映射的内存大小不同，表示其处理数据的速率不同，同时占用的内存资源也不同。本发明根据数据紧急程度值将数据发送给最合适的目标数据处理单元处理，使得紧急的数据能够优先被处理速率快的数据处理单元处理，保证数据的时效性。而对于一些紧急程度不高的数据，则可以将其分配给处理速度较低，但是占用内存资源较少的数据处理单元处理，以节约计算资源。同时，本发明中还根据与数据紧急程度值成反比的规则调整动态监测窗口的大小，使得数据紧急时，动态监测窗口较小，提高数据分析速度，数据不紧急时，动态监测窗口较大，具备较宽的分析视野，能够更加快速的识别紧急情况。相比于现有技术，本发明利用高效的算法，使得计算资源得到了更充分的利用。这样一来，智能水电站可以在节约计算资源的同时，保证数据能够被实时处理。这种共享管理方法不仅能提高智能水电站的效率和响应速度，还能有效降低计算成本。
进一步的，结合图2所示，在一个优选的实施例中，上述步骤S101、分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值，具体包括：
S201、基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数；
S202、根据多种预设分析指标对应的紧急系数，得到所述数据紧急程度值。
具体地，在一个优选的实施例中，所述实时数据队列中的数据包括具备时间戳的数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
根据所述动态监测窗口中具备时间戳的数据，得到所述动态监测窗口中的数据的平均数据到达间隔；
根据所述平均数据到达间隔，得到第一紧急系数。
上述过程中，通过分析具备时间戳的数据的到达间隔，能够初步判别数据此时的数据流量大小，例如当出现数据激增的突发状况时，数据的到达间隔必然较小。此时可以提高数据的紧急程度，以保证数据处理的实时性。
上述过程计算的平均数据到达间隔，可以直接作为第一紧急系数。实际中可以根据情况灵活设定，例如将其哈希映射为某个预设值，或根据当前动态监测窗口的大小的调整判断标准，得到最终的第一紧急系数。
进一步的，在一个优选的实施例中，所述实时数据队列中的数据包括异常提示数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
计算所述动态监测窗口中的异常提示数据在所述动态监测窗口中的数据中所占的比例，得到异常数据比例；
根据所述异常数据比例，得到第二紧急系数。
上述过程中的异常提示数据为已经判断出异常的报警数据、提示数据等，如水位报警数据、水质异常提示数据等。通过分析这些异常提示数据所占的比例，能够初步判断当前情况的紧急程度。
同样地，上述过程计算的异常数据比例，可以直接作为第二紧急系数。实际中可以根据情况灵活设定，例如将其哈希映射为某个预设值，或根据当前动态监测窗口的大小的调整判断标准，得到最终的第二紧急系数。
进一步的，在一个优选的实施例中，所述实时数据队列中的数据包括数值数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
获取预设异常数值范围；
统计所述动态监测窗口中，超出预设异常数值范围的数值数据的个数，得到异常数据个数；
根据所述异常数据个数，得到第三紧急系数。
在前一过程中，是通过已知的已经处理的异常数据来判断紧急程度，而本实施例中则是要判断一些数值数据是否异常，例如温度、水温、电压等未经过处理的数据。再根据这些数据的判断结果来分析紧急程度。
同样地，上述过程计算的异常数据个数，可以直接作为第三紧急系数。实际中可以根据情况灵活设定，例如将其哈希映射为某个预设值，或根据当前动态监测窗口的大小的调整判断标准，得到最终的第三紧急系数。
进一步的，在一个优选的实施例中，所述实时数据队列中的数据包括优先级数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
计算所述动态监测窗口中的所有优先级数据的平均值，得到平均优先级；
根据平均优先级，得到第四紧急系数。
以上过程为通过一直的优先级数据评价紧急程度。同样地，上述过程计算的平均优先级，可以直接作为第四紧急系数。实际中可以根据情况灵活设定，例如将其哈希映射为某个预设值，或根据当前动态监测窗口的大小的调整判断标准，得到最终的第四紧急系数。
可以理解的是，以上每一个实施例分别对应一种预设分析指标，实际中可以根据实际需要灵活组合，也可以根据具体情况设定其他的预设分析指标。
在一个优选的实施例中，所述根据多种预设分析指标对应的紧急系数，得到所述数据紧急程度值，包括：
通过下式得到所述数据紧急程度值：
其中，U表示数据紧急程度值，c1表示第一紧急系数，C2表示第二紧急系数，C3表示第三紧急系数，C4表示第四紧急系数，ω1、ω2、ω3、ω4分别为不同的权重系数。
上述公式为在以上四种预设分析指标的基础上，计算数据紧急程度值的公式，其使得最终计算的数据紧急程度值与表示数据到达间隔的第一紧急系数成反比，同时利用表示平均优先级第四紧急系数对整体进行调控，使得最终计算的数据紧急程度值具备一定的科学性。此外，本实施例中还通过ω1、ω2、ω3、ω4四种不同的权重系数权衡四种紧急系数的影响程度。
可以理解的是，实际中根据具体情况也可以采用其他的计算方法得到数据紧急程度值。
进一步的，在一个优选的实施例中，上述步骤S102、根据所述数据紧急程度值调整所述动态监测窗口的大小，具体包括：
判断所述数据紧急程度值和预设调整阈值的关系；
若所述数据紧急程度值大于所述预设调整阈值，则所述动态监测窗口长度增加；
若所述数据紧急程度值小于所述预设调整阈值，则所述动态监测窗口长度减少。
上述过程能够根据当前的数据紧急程度动态地调整动态监测窗口的大小，使得在数据紧急时，动态监测窗口的尺寸不会过大，从而造成上述计算数据紧急程度值的事件较长，反而影响数据处理的实时性。在数据不紧急时，动态监测窗口则会保持一个较大的尺寸，使其具备较宽的感受野，进而能够更加灵敏的对数据紧急程度作出反应。
进一步的，在一个优选的实施例中，所述多个数据处理单元包括第一数据处理单元、第二数据处理单元和第三数据处理单元，其中，所述第一数据处理单元中一个数据处理进程映射有一个单位的内存，所述第二数据处理单元中多个数据处理进程映射有一个单位的内存，所述第三数据处理单元中一个数据处理进程映射有多个单位的内存，其中：
1、多个数据处理进程映射一个内存：多个进程映射同一个内存区域可以实现内存共享，多个进程可以直接访问相同的内存数据。这种方式的处理速度通常较快，适用于需要频繁的进程间通信和数据共享的场景。比如，多个并发的任务或进程需要共享一些中间结果或共享数据块，可以通过多个进程映射同一个内存来实现高效的数据交互。其可以应用于以下场景：
实时监测数据：例如水位、流量、温度等传感器数据可以通过多个进程共享映射的内存进行实时监测和处理。多个进程可以同时读取和更新这些数据，进行实时分析和决策。
控制命令和状态：多个进程可以共享一个内存区域用于存储控制命令和设备状态。这样，不同进程可以实时读取和更新这些数据，实现对水电站各个部分的实时控制和监测。
2、一个数据处理进程映射一个内存：一个进程映射一个内存通常用于单个进程内部管理和操作自己的数据。这种方式的处理速度也较快，因为进程可以直接访问自己映射的内存区域。适用于单个进程需要同时管理多个数据结构或多个资源文件的情况，可以提高操作的便利性和效率。其可以应用于以下场景：
数据采集任务：每个进程负责采集特定传感器的实时数据，将数据存储在自己的映射内存中。这种方式适合需要将不同传感器数据分开处理的任务，可以提高数据采集的并行性和效率。
分布式计算任务：每个进程负责处理不同部分的数据，并将结果存储在自己的映射内存中。这种方式适合分布式计算任务，可以充分利用多核处理器和多个进程的计算能力。
3、一个数据处理进程映射多个内存：一个进程映射多个内存区域可以帮助进程灵活管理多个数据结构、共享库或文件等。不同的内存映射区域可以具有不同的属性和权限，可以更好地组织和管理进程的内存空间。这种方式的处理速度取决于具体的操作和访问频率，通常适用于需要对多个数据源进行并行处理或管理的情况。其可以应用于以下场景：
数据缓存和归档：一个进程可以映射多个内存用于缓存和归档实时数据。每个内存区域可以用于存储特定时间段的数据，例如每小时、每天或每周的数据。这样，可以实现定期的数据归档和离线分析。
多任务处理：一个进程可以映射多个内存用于存储不同任务的数据。这种方式适用于多任务处理场景，可以将不同任务的数据隔离开来，提高系统的可维护性和可扩展性。
从数据处理速度上来看，可以将以上三种内存映射方式从快到慢排列如下：
1.一个进程映射一个内存：在一个进程内部，直接映射一个内存区域的处理速度通常是最快的。因为进程可以直接访问自己映射的内存，无需进行额外的进程间通信或复制数据操作。
2.多个进程映射一个内存：多个进程映射同一个内存区域进行内存共享的处理速度通常比较快。因为多个进程可以直接访问共享的内存数据，避免了数据的复制和传输操作。
3.一个进程映射多个内存：一个进程映射多个内存区域的处理速度通常较慢一点。尽管进程可以直接访问映射的内存区域，但在处理过程中可能涉及多个内存区域的切换和访问，增加了一定的开销。
因此，在一个优选的实施例中，上述步骤S103、根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理，具体包括：
若所述数据紧急程度值超过第一预设阈值，则将所述第一数据处理单元作为所述目标数据处理单元；
若所述数据紧急程度值超过第二预设阈值但没超过所述第一预设阈值，则将所述第二数据处理单元作为所述目标数据处理单元；
若所述数据紧急程度值超过第三预设阈值但没超过所述第二预设阈值，则将所述第三数据处理单元作为所述目标数据处理单元；
将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述数据紧急程度值越大表示数据的紧急程度越高，所述第一预设阈值大于所述第二预设阈值，所述第二预设阈值大于所述第三预设阈值。
为了更好实施本发明实施例中的实时数据内存的共享管理方法，在实时数据内存的共享管理方法基础之上，对应的，请参阅图3，图3为本发明提供的实时数据内存的共享管理系统的一实施例的结构示意图，本发明实施例提供的一种实时数据内存的共享管理系统300，包括：
窗口监测模块310，用于在实时数据队列中设置动态监测窗口，并分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值；
窗口调整模块320，用于根据所述数据紧急程度值调整所述动态监测窗口的大小，所述动态监测窗口的大小和所述数据紧急程度值代表的数据紧急程度成反比；
数据发送模块330，用于根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述目标数据处理单元为多个数据处理单元中的一个，不同数据处理单元中，一个数据处理进程映射的内存大小不同。
这里需要说明的是：上述实施例提供的对应的系统300可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
本发明提供一种实时数据内存的共享管理方法及系统，其通过在实时数据队列中设置动态监测窗口的方式分析当前时刻下数据的紧急程度，并数据紧急程度值将数据发送给不同的数据处理单元，多个数据处理单元中，一个数据处理进程映射的内存大小不同，表示其处理数据的速率不同，同时占用的内存资源也不同。本发明根据数据紧急程度值将数据发送给最合适的目标数据处理单元处理，使得紧急的数据能够优先被处理速率快的数据处理单元处理，保证数据的时效性。而对于一些紧急程度不高的数据，则可以将其分配给处理速度较低，但是占用内存资源较少的数据处理单元处理，以节约计算资源。同时，本发明中还根据与数据紧急程度值成反比的规则调整动态监测窗口的大小，使得数据紧急时，动态监测窗口较小，提高数据分析速度，数据不紧急时，动态监测窗口较大，具备较宽的分析视野，能够更加快速的识别紧急情况。相比于现有技术，本发明利用高效的算法，使得计算资源得到了更充分的利用。这样一来，智能水电站可以在节约计算资源的同时，保证数据能够被实时处理。这种共享管理方法不仅能提高智能水电站的效率和响应速度，还能有效降低计算成本。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种实时数据内存的共享管理方法，其特征在于，包括：
在实时数据队列中设置动态监测窗口，并分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值；
根据所述数据紧急程度值调整所述动态监测窗口的大小，所述动态监测窗口的大小和所述数据紧急程度值代表的数据紧急程度成反比；
根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述目标数据处理单元为多个数据处理单元中的一个，不同数据处理单元中，一个数据处理进程映射的内存大小不同。
2.根据权利要求1所述的实时数据内存的共享管理方法，其特征在于，所述分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值，包括：
基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数；
根据多种预设分析指标对应的紧急系数，得到所述数据紧急程度值。
3.根据权利要求1所述的实时数据内存的共享管理方法，其特征在于，所述实时数据队列中的数据包括具备时间戳的数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
根据所述动态监测窗口中具备时间戳的数据，得到所述动态监测窗口中的数据的平均数据到达间隔；
根据所述平均数据到达间隔，得到第一紧急系数。
4.根据权利要求3所述的实时数据内存的共享管理方法，其特征在于，所述实时数据队列中的数据包括异常提示数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
计算所述动态监测窗口中的异常提示数据在所述动态监测窗口中的数据中所占的比例，得到异常数据比例；
根据所述异常数据比例，得到第二紧急系数。
5.根据权利要求4所述的实时数据内存的共享管理方法，其特征在于，所述实时数据队列中的数据包括数值数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
获取预设异常数值范围；
统计所述动态监测窗口中，超出预设异常数值范围的数值数据的个数，得到异常数据个数；
根据所述异常数据个数，得到第三紧急系数。
6.根据权利要求5所述的实时数据内存的共享管理方法，其特征在于，所述实时数据队列中的数据包括优先级数据；所述基于多种预设分析指标，分析所述动态监测窗口中的数据，得到每种预设分析指标对应的紧急系数，包括：
计算所述动态监测窗口中的所有优先级数据的平均值，得到平均优先级；
根据平均优先级，得到第四紧急系数。
7.根据权利要求6所述的实时数据内存的共享管理方法，其特征在于，所述根据多种预设分析指标对应的紧急系数，得到所述数据紧急程度值，包括：
通过下式得到所述数据紧急程度值：
其中，U表示数据紧急程度值，C1表示第一紧急系数，C2表示第二紧急系数，C3表示第三紧急系数，C4表示第四紧急系数，ω1、ω2、ω3、ω4分别为不同的权重系数。
8.根据权利要求1所述的实时数据内存的共享管理方法，其特征在于，所述多个数据处理单元包括第一数据处理单元、第二数据处理单元和第三数据处理单元，其中，所述第一数据处理单元中一个数据处理进程映射有一个单位的内存，所述第二数据处理单元中多个数据处理进程映射有一个单位的内存，所述第三数据处理单元中一个数据处理进程映射有多个单位的内存；
所述根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理，包括：
若所述数据紧急程度值超过第一预设阈值，则将所述第一数据处理单元作为所述目标数据处理单元；
若所述数据紧急程度值超过第二预设阈值但没超过所述第一预设阈值，则将所述第二数据处理单元作为所述目标数据处理单元；
若所述数据紧急程度值超过第三预设阈值但没超过所述第二预设阈值，则将所述第三数据处理单元作为所述目标数据处理单元；
将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述数据紧急程度值越大表示数据的紧急程度越高，所述第一预设阈值大于所述第二预设阈值，所述第二预设阈值大于所述第三预设阈值。
9.根据权利要求1所述的实时数据内存的共享管理方法，其特征在于，所述根据所述数据紧急程度值调整所述动态监测窗口的大小，包括：
判断所述数据紧急程度值和预设调整阈值的关系；
若所述数据紧急程度值大于所述预设调整阈值，则所述动态监测窗口长度增加；
若所述数据紧急程度值小于所述预设调整阈值，则所述动态监测窗口长度减少。
10.一种实时数据内存的共享管理系统，其特征在于，包括：
窗口监测模块，用于在实时数据队列中设置动态监测窗口，并分析所述动态监测窗口中的数据的数据紧急程度，得到数据紧急程度值；
窗口调整模块，用于根据所述数据紧急程度值调整所述动态监测窗口的大小，所述动态监测窗口的大小和所述数据紧急程度值代表的数据紧急程度成反比；
数据发送模块，用于根据所述数据紧急程度值，得到目标数据处理单元，并将所述实时队列中的数据发送给所述目标数据处理单元处理；
其中，所述目标数据处理单元为多个数据处理单元中的一个，不同数据处理单元中，一个数据处理进程映射的内存大小不同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311491745.8A CN117520011B (zh) | 2023-11-09 | 一种实时数据内存的共享管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311491745.8A CN117520011B (zh) | 2023-11-09 | 一种实时数据内存的共享管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117520011A true CN117520011A (zh) | 2024-02-06 |
| CN117520011B CN117520011B (zh) | 2024-06-21 |
Family
ID=
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080040720A1 (en) * | 2006-07-27 | 2008-02-14 | International Business Machines Corporation | Efficiently boosting priority of read-copy update readers in a real-time data processing system |
| CN103577851A (zh) * | 2013-10-29 | 2014-02-12 | 电子科技大学 | 基于自适应动态窗口的有源rfid射频数据采集方法 |
| CN104639466A (zh) * | 2015-03-05 | 2015-05-20 | 北京航空航天大学 | 一种基于Storm实时流计算框架的应用网络带宽动态优先级保障方法 |
| CN108650065A (zh) * | 2018-03-15 | 2018-10-12 | 西安电子科技大学 | 基于窗口的流式数据缺失处理方法 |
| CN111143438A (zh) * | 2019-12-30 | 2020-05-12 | 江苏安控鼎睿智能科技有限公司 | 一种基于流处理的车间现场数据实时监测与异常检测方法 |
| CN112328386A (zh) * | 2021-01-05 | 2021-02-05 | 北京国科环宇科技股份有限公司 | 操作系统进程调度方法、装置、介质和电子设备 |
| CN113901093A (zh) * | 2021-08-25 | 2022-01-07 | 北京思特奇信息技术股份有限公司 | 一种基于内存缓存的业务调用日志关系分析方法及系统 |
| CN116107925A (zh) * | 2023-04-10 | 2023-05-12 | 阿里云计算有限公司 | 数据存储单元处理方法 |
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080040720A1 (en) * | 2006-07-27 | 2008-02-14 | International Business Machines Corporation | Efficiently boosting priority of read-copy update readers in a real-time data processing system |
| CN103577851A (zh) * | 2013-10-29 | 2014-02-12 | 电子科技大学 | 基于自适应动态窗口的有源rfid射频数据采集方法 |
| CN104639466A (zh) * | 2015-03-05 | 2015-05-20 | 北京航空航天大学 | 一种基于Storm实时流计算框架的应用网络带宽动态优先级保障方法 |
| CN108650065A (zh) * | 2018-03-15 | 2018-10-12 | 西安电子科技大学 | 基于窗口的流式数据缺失处理方法 |
| CN111143438A (zh) * | 2019-12-30 | 2020-05-12 | 江苏安控鼎睿智能科技有限公司 | 一种基于流处理的车间现场数据实时监测与异常检测方法 |
| CN112328386A (zh) * | 2021-01-05 | 2021-02-05 | 北京国科环宇科技股份有限公司 | 操作系统进程调度方法、装置、介质和电子设备 |
| CN113901093A (zh) * | 2021-08-25 | 2022-01-07 | 北京思特奇信息技术股份有限公司 | 一种基于内存缓存的业务调用日志关系分析方法及系统 |
| CN116107925A (zh) * | 2023-04-10 | 2023-05-12 | 阿里云计算有限公司 | 数据存储单元处理方法 |
Non-Patent Citations (3)
| Title |
|---|
| DI WU等: "Custom machine learning architectures: towards realtime anomaly detection for flight testing", 《2018 IEEE INTERNATIONAL PARALLEL AND DISTRIBUTED PROCESSING SYMPOSIUM WORKSHOPS (IPDPSW)》, 29 November 2018 (2018-11-29), pages 1323 - 1330 * |
| 王宇等: "互联网用户交流信息数据传输精度监测仿真", 《计算机仿真》, vol. 35, no. 3, 15 March 2018 (2018-03-15), pages 373 - 376 * |
| 韩培钰: "基于WebGIS的目标探测设备优化协同系统的研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 January 2022 (2022-01-15), pages 139 - 383 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108509276B (zh) | 一种边缘计算环境中的视频任务动态迁移方法 | |
| CN112799854B (zh) | 任务处理方法、装置、电子设备及可读存储介质 | |
| CN110765365B (zh) | 分布式边云协同缓存策略的实现方法、装置、设备和介质 | |
| US20110185364A1 (en) | Efficient utilization of idle resources in a resource manager | |
| CN101593133A (zh) | 虚拟机资源负载均衡方法及装置 | |
| KR20200122364A (ko) | 자원 스케줄링 방법 및 단말 장치 | |
| CN112600761B (zh) | 一种资源分配的方法、装置及存储介质 | |
| CN109408220A (zh) | 一种任务处理方法及装置 | |
| US20120254822A1 (en) | Processing optimization load adjustment | |
| CN117520011B (zh) | 一种实时数据内存的共享管理方法及系统 | |
| CN113806097A (zh) | 一种数据处理方法、装置、电子设备以及存储介质 | |
| CN116526678B (zh) | 一种智算中心电源弹性调度系统及其控制方法 | |
| CN117520011A (zh) | 一种实时数据内存的共享管理方法及系统 | |
| US20230156976A1 (en) | Adaptive temperature control method based on log analysis of chassis manager in edge server | |
| CN108770014B (zh) | 网络服务器的计算评估方法、系统、装置及可读存储介质 | |
| CN113472886B (zh) | 分布式集群系统及其控制方法 | |
| US11288179B2 (en) | Co-operative memory management system | |
| US11343329B1 (en) | Techniques for increasing persistent connection scalability | |
| CN113904940A (zh) | 资源调整方法、装置、电子设备和计算机可读存储介质 | |
| CN106027685A (zh) | 一种基于云计算机系统的高峰访问的方法 | |
| CN117972367B (zh) | 一种数据存储预测方法、数据存储子系统及智能计算平台 | |
| CN114500555B (zh) | 一种基于边缘计算和云计算的移动微应用数据处理方法及系统 | |
| CN115237080B (zh) | 基于虚拟电厂的设备调控方法、装置、设备和可读介质 | |
| CN113411265B (zh) | 基于风险预测的电网监控系统前置服务通道动态调整方法 | |
| CN117971499B (zh) | 资源配置方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |