CN118312563A - 一种实时计算系统、方法、计算机设备及存储介质 - Google Patents
一种实时计算系统、方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN118312563A CN118312563A CN202410422645.8A CN202410422645A CN118312563A CN 118312563 A CN118312563 A CN 118312563A CN 202410422645 A CN202410422645 A CN 202410422645A CN 118312563 A CN118312563 A CN 118312563A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- time
- distributed
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 17
- 238000003860 storage Methods 0.000 title claims description 11
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 24
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 230000007246 mechanism Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006872 improvement Effects 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012271 agricultural production Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Abstract
本发明公开了一种实时计算系统，包括通过数据节点亲和性接口依次连接的I OT数据接入层、数据缓存层、实时处理层和分布式计算层，其中：I OT数据接入层，用于数据信息的整体接入；数据缓存层，用于根据数据信息构建分布式数据结构，具体包括分布式内存队列、集合和字典；实时处理层，用于构建针对分布式数据结构的实时数据变更监听处理钩子；分布式计算层，用于分布式数据结构的复杂计算执行。本发明能够为物联网场景下的海量高并发数据摄入提供基础设施保障，在不搬运数据的情况下该系统结构还可以同时支持实时计算和复杂计算，显著提升海量实时数据场景下进行时间、空间、多维度实时复杂运算的效率。
Description
技术领域
本发明涉及物联网实时计算技术领域，具体涉及一种实时计算系统、方法、计算机设备及存储介质。
背景技术
近年来，随着物联网技术的迅速发展，越来越多的传感器、摄像头、基站被广泛部署并应用到安全生产、城市管理和工农业生产中，产生了大量实时数据。这些实时数据具有高速、大容量、多样性和实时性的特点，对于企业和组织来说，如何高效地处理和分析这些数据，从中挖掘有价值的信息，已成为一项重要的挑战。
由于设备数量庞大、数据实时性高，目前的大数据处理技术如Hadoop延迟过高，无法满足实时性的要求，而Flink、Spark等实时流处理技术在进行复杂运算时需要搬运大量数据，无法满足在实时数据上进行复杂计算的需求。
为此，本申请特提出一种实时计算系统、方法、计算机设备及存储介质以解决上述技术问题。
发明内容
本发明的主要目的在于提供一种实时计算系统、方法、计算机设备及存储介质，在不搬运数据的情况下同时支持实时计算和复杂计算，可以显著提升海量实时数据场景下进行时间、空间、多维度实时复杂运算的效率，以解决背景技术中所提出的技术问题。
本发明采用以下技术方案解决上述技术问题：
一种实时计算系统，包括通过数据节点亲和性接口依次连接的IOT数据接入层、数据缓存层、实时处理层和分布式计算层，其中：
IOT数据接入层，用于数据信息的整体接入；
数据缓存层，用于根据数据信息构建分布式数据结构，具体包括分布式内存队列、集合和字典；
实时处理层，用于构建针对分布式数据结构的实时数据变更监听处理钩子；
分布式计算层，用于分布式数据结构的复杂计算执行。
优选的，所述分布式数据结构采用动态权重调整机制改进一致性哈希算法，具体包括以下具体改进步骤：
a1.依据节点的内存、CPU和网卡带宽设置节点的初始权重；
a2.节点加入后集群后，采用预热处理机制，逐步增加节点的权重以渐进引流请求到新节点上使系统平稳达到稳定状态；
a3.监控每个节点的负载情况，包括实时请求数、CPU负载、内存使用率和网络带宽的使用情况；
a4.评估节点的实时负载值，评估所使用公式如下：
Loadn＝w1×QPSn+w2×CPUn+w3×MEMn+w4×NETn
其中：w1、w2、w3、w4是可配置的资源权重值，用于在系统启动时通过配置文件进行调整；
a5.采用指数加权移动平均法来平滑调整权重值，避免权重调整波动过大，算法如下：
其中：t表示系统启动后运行的时间，以分钟为单位；NWt表示t时刻节点N的实时权重值；β表示加权速率，是一个可配置的参数值；LoadNt表示t时刻节点N的实时负载值。
优选的，所述数据结构采用无锁设计：
针对每一行数据的插入形成Base记录；
针对每一行数据的更新形成Delta记录；
针对每一行的数据的所有的更新形成Delta记录链；
更新的Delta记录指向在它之前的最近的Delta记录，索引总是指向最新的Delta记录。
优选的，Base记录和Delta记录格式相同，其内存数据格式包括：
PrevPointer，用于指向当前这个Delta更新之前的所有更新中最近的更新，以形成Delta链；
Operation Meta：用于操作相关的元数据，包括当前操作的类型、当前操作对应的版本号和当前操作状态；
ColumnX Meta：用于表达字段名称、长度信息、数据的TTL；
ColumnX Data：用于存放真实数据，和存储数据对应的地址。
优选的，所述实时数据变更监听处理钩子的实时数据处理步骤包括：
b1.具体数据在内存数据结构上映射呈现为一个虚拟表；
b2.在每个虚拟表上注册数据变更监听函数；
b3.每当该虚拟表中的数据发生变化，调用该监听函数，并将发生变化的数据传递给监听函数；
b4.在虚拟表上注册多个监听函数，以运行不同场景的监听算法；
b5.监听函数用于访问当前虚拟表中的所有数据和系统中其他虚拟表的数据，以满足复杂场景的数据处理需求。
优选的，所述监听函数通过并行计算和函数调度来提高负载计算的实时性。
优选的，所述分布式计算层包括任务分配器和任务调度器，其中：
任务分配器，用于任务的拆分和结果的聚合；
任务调度器，用于在执行调度命令条件下根据虚拟表分片所在节点的位置信息进行算法调度。
一种实时计算方法，应用于上述任一所述的实时计算系统，包括：
根据IOT数据接入层接入整体数据信息；
通过动态权重调整机制改进一致性哈希算法，并根据改进算法使用数据信息构建分布式数据结构；
构建针对分布式数据结构的实时数据变更监听处理钩子；
使用复杂计算执行器对分布式数据结构加载和运行算法代码类。
又一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
再一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
由上述技术方案可知，本发明提供了一种实时计算系统、方法、计算机设备及存储介质。与现有技术相比本发明的具有以下优势：
1.本发明通过构建基于内存缓存的分布式数据结构，能够为物联网场景下的海量高并发数据摄入提供基础设施保障，同时围绕这些分布式内存数据结构构建了实时数据变更监听处理层和分布式计算层，以提供在实时数据上进行实时计算和复杂计算的核心保障，因此在不搬运数据的情况下该系统结构可以同时支持实时计算和复杂计算，可以显著提升海量实时数据场景下进行时间、空间、多维度实时复杂运算的效率。
2.本发明通过将分布式数据结构构建为无锁结构，并在结构基础上设计了基于数据变更监听的实时数据处理机制，通过一种无数据移动的分布式计算机制解决了实时数据处理场景下进行复杂计算的问题，因此本发明可以有效解决当前大数据处理技术在IOT场景下的实时计算和复杂计算延迟高的问题，真正发挥实时数据在快速分析、实时决策场景下的价值。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其他特征将通过以下的说明书而变得容易理解。当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明的系统架构连接关系示意图；
图2为本发明的分布式数据结构改进流程示意图；
图3为本发明的内存数据结构无锁设计结构示意图；
图4为本发明的内存数据格式示意图；
图5为本发明实时数据变更监听处理钩子的数据处理流程示意图；
图6为本发明复杂计算执行器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
第一实施例中，详细参见图1至图6。
如图1所示，本发明实施例所提出的一种实时计算系统，包括通过数据节点亲和性接口依次连接的IOT数据接入层、数据缓存层、实时处理层和分布式计算层，其中：
IOT数据接入层，用于数据信息的整体接入；
数据缓存层，用于根据数据信息构建分布式数据结构，具体包括分布式内存队列、集合和字典；
实时处理层，用于构建针对分布式数据结构的实时数据变更监听处理钩子；
分布式计算层，用于分布式数据结构的复杂计算执行，以结合实时处理层提供在实时数据上进行实时计算和复杂计算的核心保障。
具体的，该实时计算系统的核心在于数据缓存层内构建基于内存缓存的高性能分布式数据结构，利用分布式内存队列、集合和字典能够为物联网场景下的海量高并发数据摄入提供基础设施保障，同时围绕这些分布式内存数据结构构建了实时数据变更监听处理层和分布式计算层，以提供在实时数据上进行实时计算和复杂计算的核心保障，因此在不搬运数据的情况下该系统结构可以同时支持实时计算和复杂计算，可以显著提升海量实时数据场景下进行时间、空间、多维度实时复杂运算的效率。
进一步地，参考图2，由于分布式系统中，数据通常被分散存储在多个节点上，而不是集中存储在单个节点上。为了尽可能地减少节点扩容时带来的数据迁移成本，提升实时数据处理的效率，因此在分布式数据结构上采用动态权重调整机制改进一致性哈希算法，以提高系统的可用性和性能，具体包括以下具体改进步骤：
a1.系统启动时，依据节点的内存、CPU和网卡带宽设置节点的初始权重；
a2.节点加入后集群后，采用预热处理机制，逐步增加节点的权重以渐进引流请求到新节点上使系统平稳达到稳定状态；
a3.预设监听周期，在周期时间内定期监控每个节点的负载情况，包括实时请求数(QPS)、CPU负载(CPU)、内存使用率(MEM)和网络带宽(NET)的使用情况；
a4.评估节点的实时负载值，评估所使用公式如下：
Loadn＝w1×QPSn+w2×CPUn+w3×MEMn+w4×NETn
其中：w1、w2、w3、w4是可配置的资源权重值，用于在系统启动时通过配置文件进行调整，且默认情况下内存权重值为0.4，CPU权重值为0.3，QPS和网络权重为0.15；
a5.采用指数加权移动平均法来平滑调整权重值，避免权重调整波动过大，算法如下：
其中：t表示系统启动后运行的时间，以分钟为单位；NWt表示t时刻节点N的实时权重值；β表示加权速率，是一个可配置的参数值；LoadNt表示t时刻节点N的实时负载值。
进一步的，参考图3，为了提高数据并发访问的效率，内存数据结构采用无锁设计：
针对每一行数据的插入形成Base记录；
针对每一行数据的更新形成Delta记录；
针对每一行的数据的所有的更新形成Delta记录链；
更新的Delta记录指向在它之前的最近的Delta记录，索引总是指向最新的Delta记录。
综上通过将分布式数据结构构建为无锁结构，并在结构基础上设计了基于数据变更监听的实时数据处理机制，能够形成无数据移动的分布式计算机制，从而解决实时数据处理场景下进行复杂计算的问题。
进一步的，该系统结构可以有效解决当前大数据处理技术在IOT场景下的实时计算和复杂计算延迟高的问题，真正发挥实时数据在快速分析、实时决策场景下的价值。
此时需要具体说明的是，Base记录和Delta记录格式相同，参考图4，其内存数据格式包括：
PrevPointer，用于指向当前这个Delta更新之前的所有更新中最近的更新，以形成Delta链；
Operation Meta：用于操作相关的元数据，包括当前操作的类型OpType(插入/更新/删除等)，当前操作对应的版本号(OpVersion)，当前操作状态(rollbacked，committed，deleted等)；
ColumnX Meta：包括字段名称和长度信息，数据的TTL等，如果ColumnX Meta是不定长的，则它还包括ColumnX Data部分的起始偏移；
ColumnX Data：用于表示ColumnX的最新数据，对于删除操作，则没有ColumnXData；ColumnX Data中可以存放真实数据，对于较大的值，也可以存储数据对应的地址。
进一步的，参考图5，在分布式内存数据结构的基础上，系统通过构建实时数据变更监听处理钩子来实现实时数据的处理，其具体步骤包括：
b1.具体数据在内存数据结构上映射呈现为一个虚拟表；
b2.允许在每个虚拟表上注册数据变更监听函数；
b3.每当该虚拟表中的数据发生变化，如新增、修改、删除了数据，调用该监听函数，并将发生变化的数据传递给该监听函数；
b4.在每一个虚拟表上注册多个监听函数，以运行不同场景的监听算法；
b5.监听函数用于访问当前虚拟表中的所有数据和系统中其他虚拟表的数据，以满足复杂场景的数据处理需求。
此时需要进行说明的是，由于监听函数的执行可以充分利用复杂计算执行器的能力，因此监听函数通过并行计算和函数调度来提高负载计算的实时性。
进一步的，参考图6，为了满足实时计算场景对复杂计算的需求，并保障复杂计算的高效性以满足实时计算的需求，在分布式计算层内设置相应的复杂计算执行器以进行复杂计算执行，复杂计算执行器包括任务分配器和任务调度器，其中：
任务分配器，用于负责任务的拆分和结果的聚合；
任务调度器，接入分布式内存数据结构提供的数据节点亲和性接口，用于在执行调度命令条件下根据虚拟表分片所在节点的位置信息进行算法调度，而不是在执行器上从远端拉取数据到本地执行。
同时还需要进一步说明的是，复杂计算执行器还包括执行器主体，以便支持直接加载和运行算法代码类，提高业务代码的开发效率，降低代码管理和部署的成本。
在第二实施例中，基于上述第一实施例的基础，本发明还公开一种实时计算方法，应用于上述第一实施例所说明的实时计算系统，方法步骤具体包括：
S1.根据IOT数据接入层接入整体数据信息；
在本发明实施例中，能够快速接入计算机IOT数据场景，并有效解决当前大数据处理技术在IOT场景下的实时计算和复杂计算延迟高的问题，真正发挥实时数据在快速分析、实时决策场景下的价值。
S2.通过动态权重调整机制改进一致性哈希算法，并根据改进算法使用数据信息构建分布式数据结构；
在本发明实施例中，采用动态权重调整机制来改进一致性哈希算法，能够进一步提高系统的可用性和性能，同时相应地，动态权重调整机制中内存权重值、CPU权重值、QPS和网络权重在实际使用过程中需要根据网络计算的应用场景进行改变。
S3.构建针对分布式数据结构的实时数据变更监听处理钩子；
S4.使用复杂计算执行器对分布式数据结构加载和运行算法代码类。
在本发明实施例中，围绕分布式内存数据结构构建了实时数据变更监听处理层和分布式计算层，以提供在实时数据上进行实时计算和复杂计算的核心保障，因此该计算方法能够基于现有物联网设备的大量数据进行实时流处理时进行在实时数据上进行复杂计算。
在一方面，本发明还公开实时计算装置，用于上述第一实施例中系统的加载运行，且该装置可以由软件和/或硬件的方式来实现，并一般可集成在计算机设备中。
又一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述实施例中任一实时计算的方法的步骤。
再一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一实时计算的方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一实时计算的方法。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本申请实施例还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述实时计算方法。
上述电子设备提到的通信总线可以是外设部件互连标准(英文：PeripheralComponent Interconnect，简称：PCI)总线或扩展工业标准结构(英文：Extended IndustryStandard Architecture，简称：EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(英文：Random Access Memory，简称：RAM)，也可以包括非易失性存储器(英文：Non-Volatile Memory，简称：NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(英文：Central ProcessingUnit，简称：CPU)、网络处理器(英文：Network Processor，简称：NP)等；还可以是数字信号处理器(英文：Digital Signal Processing，简称：DSP)、专用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field-Programmable Gate Array，简称：FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
还需要说明的是，电子设备还包括终端设备，终端设备也可以称为终端(terminal)、用户设备(user equipment，UE)、移动台(mobile station，MS)、移动终端(mobile terminal，MT)等。终端设备可以是手机(mobile phone)、智能电视、穿戴式设备、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。本申请的实施例对终端设备所采用的具体技术和具体设备形态不作限定。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
此外需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，全文中出现的“和/或”的含义，包括三个并列的方案，以“A和/或B”为例，包括A方案、或B方案、或A和B同时满足的方案。另外，本发明实施例中，“多个”指两个以上。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
Claims (10)
1.一种实时计算系统，其特征在于，包括通过数据节点亲和性接口依次连接的IOT数据接入层、数据缓存层、实时处理层和分布式计算层，其中：
IOT数据接入层，用于数据信息的整体接入；
数据缓存层，用于根据数据信息构建分布式数据结构，具体包括分布式内存队列、集合和字典；
实时处理层，用于构建针对分布式数据结构的实时数据变更监听处理钩子；
分布式计算层，用于分布式数据结构的复杂计算执行。
2.如权利要求1所述的实时计算系统，其特征在于，所述分布式数据结构采用动态权重调整机制改进一致性哈希算法，具体包括以下具体改进步骤：
a1.依据节点的内存、CPU和网卡带宽设置节点的初始权重；
a2.节点加入后集群后，采用预热处理机制，逐步增加节点的权重以渐进引流请求到新节点上使系统平稳达到稳定状态；
a3.监控每个节点的负载情况，包括实时请求数、CPU负载、内存使用率和网络带宽的使用情况；
a4.评估节点的实时负载值，评估所使用公式如下：
Loadn＝w1×QPSn+w2×CPUn+w3×MEMn+w4×NETn
其中：w1、w2、w3、w4是可配置的资源权重值，用于在系统启动时通过配置文件进行调整；
a5.采用指数加权移动平均法来平滑调整权重值，避免权重调整波动过大，算法如下：
其中：t表示系统启动后运行的时间，以分钟为单位；NWt表示t时刻节点N的实时权重值；β表示加权速率，是一个可配置的参数值；LoadNt表示t时刻节点N的实时负载值。
3.如权利要求1或2所述的实时计算系统，其特征在于，所述数据结构采用无锁设计：
针对每一行数据的插入形成Base记录；
针对每一行数据的更新形成Delta记录；
针对每一行的数据的所有的更新形成Delta记录链；
更新的Delta记录指向在它之前的最近的Delta记录，索引总是指向最新的Delta记录。
4.如权利要求3所述的实时计算系统，其特征在于，Base记录和Delta记录格式相同，其内存数据格式包括：
Prev Pointer，用于指向当前这个Delta更新之前的所有更新中最近的更新，以形成Delta链；
Operation Meta：用于操作相关的元数据，包括当前操作的类型、当前操作对应的版本号和当前操作状态；
ColumnX Meta：用于表达字段名称、长度信息、数据的TTL；
ColumnX Data：用于存放真实数据，和存储数据对应的地址。
5.如权利要求1所述的实时计算系统，其特征在于，所述实时数据变更监听处理钩子的实时数据处理步骤包括：
b1.具体数据在内存数据结构上映射呈现为一个虚拟表；
b2.在每个虚拟表上注册数据变更监听函数；
b3.每当该虚拟表中的数据发生变化，调用该监听函数，并将发生变化的数据传递给监听函数；
b4.在虚拟表上注册多个监听函数，以运行不同场景的监听算法；
b5.监听函数用于访问当前虚拟表中的所有数据和系统中其他虚拟表的数据，以满足复杂场景的数据处理需求。
6.如权利要求5所述的实时计算系统，其特征在于，所述监听函数通过并行计算和函数调度来提高负载计算的实时性。
7.如权利要求5所述的实时计算系统，其特征在于，所述分布式计算层包括任务分配器和任务调度器，其中：
任务分配器，用于任务的拆分和结果的聚合；
任务调度器，用于在执行调度命令条件下根据虚拟表分片所在节点的位置信息进行算法调度。
8.一种实时计算方法，其特征在于，应用于权利要求1-7任一所述的实时计算系统，包括：
根据IOT数据接入层接入整体数据信息；
通过动态权重调整机制改进一致性哈希算法，并根据改进算法使用数据信息构建分布式数据结构；
构建针对分布式数据结构的实时数据变更监听处理钩子；
使用复杂计算执行器对分布式数据结构加载和运行算法代码类。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求8所述的实时计算方法的步骤。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求8所述的实时计算方法的步骤。
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118312563A true CN118312563A (zh) | 2024-07-09 |
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5814436B2 (ja) | キャッシング情報のシステム及び方法 | |
| CN109947668B (zh) | 存储数据的方法和装置 | |
| US9641468B2 (en) | Method, server, client, and system for releasing instant messaging key-value data | |
| US10936516B2 (en) | Accelerated data handling in cloud data storage system | |
| CN109522243B (zh) | 一种全闪存储中元数据缓存管理方法、装置及存储介质 | |
| US11245774B2 (en) | Cache storage for streaming data | |
| CN110555001B (zh) | 数据处理方法、装置、终端及介质 | |
| CN111400334B (zh) | 数据处理方法、装置、存储介质及电子装置 | |
| WO2023160276A1 (zh) | 一种数据处理方法、装置、计算机设备以及可读存储介质 | |
| CN117130792B (zh) | 缓存对象的处理方法、装置、设备及存储介质 | |
| CN112711564B (zh) | 合并处理方法以及相关设备 | |
| CN110784534B (zh) | 数据服务方法、装置、系统及电子设备 | |
| CN118312563A (zh) | 一种实时计算系统、方法、计算机设备及存储介质 | |
| CN111680014B (zh) | 共享文件的获取方法、装置、电子设备及存储介质 | |
| WO2024066676A1 (zh) | 一种神经网络模型的推理方法、装置及相关设备 | |
| CN116048425B (zh) | 一种分层缓存方法、系统及相关组件 | |
| CN104915298B (zh) | 关系链处理方法及装置 | |
| CN116069529B (zh) | 一种动态缓存方法、装置、电子设备及计算机可读介质 | |
| US20210326386A1 (en) | Information processing system, information processing device, and non-transitory computer-readable storage medium for storing program | |
| CN117349232A (zh) | 数据访问方法、装置及系统 | |
| CN115408363A (zh) | 数据处理方法、可读介质和电子设备 | |
| CN114327273A (zh) | 数据存储方法和装置、存储介质及电子设备 | |
| CN117370295A (zh) | 一种文件拷贝方法、装置、服务器及存储介质 | |
| CN116450590A (zh) | 一种元数据管理方法及相关组件 | |
| CN117950569A (zh) | 数据处理方法、装置、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |