CN117092977A - 工业数字孪生的数据空间构建方法、系统、设备及介质 - Google Patents
工业数字孪生的数据空间构建方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117092977A CN117092977A CN202311352788.8A CN202311352788A CN117092977A CN 117092977 A CN117092977 A CN 117092977A CN 202311352788 A CN202311352788 A CN 202311352788A CN 117092977 A CN117092977 A CN 117092977A
- Authority
- CN
- China
- Prior art keywords
- data
- weight
- coefficient
- calculating
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims description 16
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 37
- 239000012634 fragment Substances 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims description 49
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 238000009826 distribution Methods 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 10
- 238000013499 data model Methods 0.000 abstract description 4
- 238000007405 data analysis Methods 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32339—Object oriented modeling, design, analysis, implementation, simulation language
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供工业数字孪生的数据空间构建方法、系统、设备及介质,本发明实施例通过采集工厂的数字信息,所述数字信息包括工厂内设备的工业参数;基于所述数字信息进行数据建模,得到数据空间模型;当接收到工厂中采集器反馈的更新数据信息时,对所述更新数据信息进行数据分片得到多各数据片段;获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集;根据所述多个更新集对所述数据空间模型进行更新,通过并行处理和数据模型的更新,能够实现高效的数据处理和准确的数据分析,从而提高工厂的生产效率和设备运行的稳定性。
Description
技术领域
本发明涉及智能检测技术,尤其涉及工业数字孪生的数据空间构建方法、系统、设备及介质。
背景技术
实际工业设备、过程或系统的数据通常是动态变化的。因此,需要定期对数据进行同步和更新,以保持数字孪生与实际情况的一致性。可以使用数据同步和更新技术,如增量更新、定期批量更新等。
但是,数据同步和更新可能存在一定的延迟,导致数字孪生与实际情况之间存在一定的时间差,这可能会影响到对实时变化的工业过程的准确模拟和预测。
发明内容
本发明实施例提供工业数字孪生的数据空间构建方法、系统、设备及介质,能够至少解决现有技术中的部分问题,也即,解决现有技术数据同步和更新可能存在一定的延迟,导致数字孪生与实际情况之间存在一定的时间差的问题。
第一方面,本发明实施例提供一种工业数字孪生的数据空间构建方法,包括:
采集工厂的数字信息,所述数字信息包括工厂内设备的工业参数;
基于所述数字信息进行数据建模,得到数据空间模型;
当接收到工厂中采集器反馈的更新数据信息时,对所述更新数据信息进行数据分片得到多各数据片段;
获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集;
根据所述多个更新集对所述数据空间模型进行更新。
可选地,获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集的步骤,包括:
针对每个数据片段,计算每个可分配计算节点的分配权重;
比较各计算节点的分配权重,将数据片段发送至分配权重最大的计算节点上;
重复针对每个数据片段,计算每个可分配计算节点的分配权重,直至将全部数据片段全部分配至计算节点上。
可选地,计算每个可分配计算节点的分配权重的步骤,包括:
根据数据片段的相关性计算各计算节点的数据局部性权重;
根据各计算节点的当前负载计算其负载权衡权重;
确定所述各数据片段的优先级信息,并根据所述各数据片段的优先级信息确定各计算节点的动态调度权重;
根据各计算节点的数据局部性权重和负载权衡权重以及动态调度权重计算各计算节点对应的分配权重。
可选地,根据数据片段的相关性计算各计算节点的数据局部性权重的步骤,包括:
根据数据片段类型确定关联系数算法、距离系数算法以及邻近性系数算法;
基于所述关联系数算法计算数据片段之间的相关系数;
基于所述距离系数算法计算用于表示数据片段之间远近程度的距离系数;
基于所述邻近性系数算法计算用于表示数据片段之间邻近性的邻近性系数;
对所述相关系数、距离系数以及邻近性系数进行相乘运算得到所述数据局部性权重。
可选地,根据各计算节点的当前负载计算其负载权衡权重的步骤,包括:
获取计算节点的负载指标,所述负载指标包括cpu利用率;
根据负载指标确定调节负载均衡系数,其中,所述调节负载均衡系数的计算公式如下:
η = k * (1 - ρ);
其中,ρ是计算节点的负载指标,η是调节负载均衡系数,k是一个正数,用于调节负载均衡的敏感度;
根据负载指标和所述调节负载均衡系数计算负载均衡权重,其中,所述负载均衡权重计算公式如下:
负载均衡权重 = (1 - ρ) * η;
其中,ρ是计算节点的负载指标,η是调节负载均衡系数。
可选地,所述优先级信息包括数据处理优先级和任务截至时间,确定所述各数据片段的优先级信息,并根据所述各数据片段的优先级信息确定各计算节点的动态调度权重的步骤,包括:
根据上一次接收到更新数据信息时的时刻,与当前时刻计算数据更新的时间间隔;
根据所述时间间隔计算数据更新的频率,所述数据更新的频率计算公式如下:
p= α * (1 - e^(t/τ));
其中,α是指数加权函数的系数,t是数据更新时间间隔,τ是时间常数;
根据所述任务截至时间计算任务的紧急程度,所述任务的紧急程度计算公式如下:
θ = 1 / (1 + e^(h(t - t_0)));
其中,h是S形函数的斜率,t是任务截止时间,t_0是任务的起始时间;
对数据处理优先级、数据更新的频率以及任务的紧急程度进行相乘得到所述动态调度权重。
可选地,根据各计算节点的数据局部性权重和负载权衡权重以及动态调度权重计算各计算节点对应的分配权重的步骤,包括:
确定所述数据局部性权重的初始系数;
确定所述负载权衡权重的初始系数;
确定所述动态调度权重的初始系数;
基于所述数据局部性权重的初始系数、所述负载权衡权重的初始系数以及所述动态调度权重的初始系数计算动态分配系数;
基于更新后的分配系数、数据局部性权重、负载权衡权重以及动态调度权重计算所述分配权重。
第二方面,本发明实施例提供了一种工业数字孪生的数据空间构建系统,包括:
采集模块,用于采集工厂的数字信息,所述数字信息包括工厂内设备的工业参数;
建模模块,用于基于所述数字信息进行数据建模,得到数据空间模型;
分布模块,用于当接收到工厂中采集器反馈的更新数据信息时,对所述更新数据信息进行数据分片得到多各数据片段;
获取模块,用于获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集;
更新模块,用于根据所述多个更新集对所述数据空间模型进行更新。
第三方面,本发明实施例提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行第一方面任一所述的工业数字孪生的数据空间构建方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现第一方面任意一项所述的工业数字孪生的数据空间构建方法。
本发明实施例通过采集工厂的数字信息,所述数字信息包括工厂内设备的工业参数;基于所述数字信息进行数据建模,得到数据空间模型;当接收到工厂中采集器反馈的更新数据信息时,对所述更新数据信息进行数据分片得到多各数据片段;获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集;根据所述多个更新集对所述数据空间模型进行更新,通过并行处理和数据模型的更新,能够实现高效的数据处理和准确的数据分析,从而提高工厂的生产效率和设备运行的稳定性。
本发明通过本发明实施例的有益效果可以参考具体实施方式中技术特征对应的技术效果,在此不再赘述。
附图说明
图1为本发明实施例一种工业数字孪生的数据空间构建方法流程示意图;
图2为本发明实施例另一种工业数字孪生的数据空间构建方法流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
在大规模工业系统中,数据量通常非常庞大,需要进行高效的数据处理和计算。如果数据处理能力不足,可能导致数据同步和更新过程的性能下降,无法满足实时性和准确性的要求。
基于此,本发明提供了一种工业数字孪生的数据空间构建方法,包括:
步骤S1,采集工厂的数字信息,所述数字信息包括工厂内设备的工业参数。
在这一步骤中,通过采集工厂内设备的工业参数,例如温度、压力、流量等数据,获取工厂设备的实时数据信息。这些数据信息可以通过传感器、监控系统等设备进行采集。
例如,在一个制造工厂中,可以通过温度传感器采集到各个设备的温度数据、通过压力传感器采集到各个设备的压力数据等。
步骤S2,基于所述数字信息进行数据建模,得到数据空间模型。
在这一步骤中,利用采集到的数据信息,对工厂设备的状态进行建模。通过对数据进行处理、分析和建模,可以得到一个数据空间模型,能够准确反映工厂内设备的状态和运行情况。
例如,在一个制造工厂中,根据采集到的温度、压力等数据信息,可以建立一个温度-压力数据空间模型,用于描述工厂设备的温度和压力之间的关系。
步骤S3,当接收到工厂中采集器反馈的更新数据信息时,对所述更新信息进行数据分片得到多个数据片段。
在这一步骤中,当采集器反馈更新数据信息时,对更新信息进行数据分片,将其划分为多个数据片段。数据分片的目的是为了后续的并行处理做准备。
例如,在一个制造工厂中,采集器反馈了最新的温度和压力数据信息。将这些数据信息按照时间或设备进行分片,得到多个温度数据片段和压力数据片段。
步骤S4,获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集。
在这一步骤中,获取待分配的多个计算节点,并将各个数据片段分布到这些计算节点上进行并行处理。通过并行处理,可以提高数据处理的效率和速度。
例如,在一个制造工厂中,获取了多个计算节点,分别分配给不同的温度数据片段和压力数据片段。每个计算节点可以同时处理多个数据片段,加快数据处理的速度。
步骤S5,根据所述多个更新集对所述数据空间模型进行更新。
在这一步骤中,根据并行处理得到的多个更新集,对数据空间模型进行更新。通过将多个更新集进行整合,可以实现对数据空间模型的全面更新,以反映工厂内设备的最新状态。
例如,在一个制造工厂中,根据计算节点处理得到的多个温度和压力的更新集,对温度-压力数据空间模型进行更新。更新后的数据空间模型能够更准确地反映工厂设备的最新状态。
本发明的具体实施例可以根据实际需求进行调整和优化。通过采集工厂设备的数据信息并进行数据建模,可以实现对工厂设备状态的实时监测和分析。并行处理和数据模型的更新能够实现高效的数据处理和准确的数据分析,从而提高工厂的生产效率和设备运行的稳定性。
通过本发明的工业数字孪生的数据空间构建方法,可以获得以下有益效果:
实时监测和分析:通过采集工厂设备的数据信息,并进行数据建模和更新,能够实现对工厂设备状态的实时监测和分析,及时发现异常情况。
高效数据处理:通过并行处理和数据分片,能够提高数据处理的效率和速度,减少数据处理的时间和资源消耗。
准确数据更新:通过数据模型的更新,能够准确地反映工厂设备的最新状态,为工厂的运行和维护提供重要支持。
综上所述,本发明提供的工业数字孪生的数据空间构建方法能够实现对工厂设备状态的实时监测和分析,提高生产效率和设备运行的稳定性。
在工业数字孪生技术中,数据处理的效率和速度对于实时监测和分析工厂设备的状态非常重要。然而,现有的数据处理方法在数据分配和并行处理方面仍存在一些问题,如计算节点的分配权重不均衡、数据片段的发送不合理等,基于此,本发明实还提供了基于步骤S4的具体实施例,如图2所示,包括:
步骤S41,针对每个数据片段,计算每个可分配计算节点的分配权重。
在这一步骤中,针对每个数据片段,计算每个可分配计算节点的分配权重。分配权重可以根据计算节点的负载情况、计算能力等因素进行计算。
例如,对于一个数据片段A,可分配的计算节点有节点1、节点2和节点3。根据节点1、节点2和节点3的负载情况和计算能力,计算出节点1的分配权重为0.6,节点2的分配权重为0.8,节点3的分配权重为0.7。
步骤S42,比较各计算节点的分配权重,将数据片段发送至分配权重最大的计算节点上。
在这一步骤中,比较各计算节点的分配权重,并将数据片段发送至分配权重最大的计算节点上。分配权重最大的计算节点通常具有更好的计算能力和较低的负载,能够更高效地处理数据片段。
例如,对于数据片段A,比较节点1的分配权重0.6,节点2的分配权重0.8和节点3的分配权重0.7,选择分配权重最大的节点2作为数据片段A的处理节点。
步骤S43,重复针对每个数据片段,计算每个可分配计算节点的分配权重,直至将全部数据片段全部分配至计算节点上。
在这一步骤中,重复执行步骤S41和步骤S42,针对每个数据片段计算分配权重,并将数据片段发送至分配权重最大的计算节点上。直至将所有的数据片段全部分配至计算节点上。
具体实施例和有益效果:
本发明的具体实施例可以根据实际需求进行调整和优化。通过改进的数据分配方法,能够更加合理地将数据片段分布到多个计算节点上,并提高数据处理的效率和速度。
通过本发明的工业数字孪生的数据空间构建方法,可以获得以下有益效果:
均衡的数据分配:通过计算计算节点的分配权重,可以实现计算节点之间的负载均衡,避免单个计算节点过载或空闲。
高效的数据处理:通过将数据片段发送至分配权重最大的计算节点上,能够充分利用计算节点的计算能力,提高数据处理的效率和速度。
全部数据片段的分配:通过重复执行数据分配步骤,可以确保将所有的数据片段都分配至计算节点上,充分利用计算资源。
综上所述,本发明提供的工业数字孪生的数据空间构建方法通过改进的数据分配步骤,能够更加合理地将数据片段分布到多个计算节点上,提高数据处理的效率和速度。
在工业数字孪生技术中,计算节点的分配权重对于数据分配和并行处理的效率至关重要。然而,现有的数据分配方法在考虑数据局部性、负载平衡和动态调度等方面仍存在一些问题,如计算节点的数据分配不均衡、负载不平衡等,基于此,本发明还提供了步骤S43的具体实施例,步骤S43,计算每个可分配计算节点的分配权重的步骤,包括:
步骤S431,根据数据片段的相关性计算各计算节点的数据局部性权重。
在这一步骤中,根据数据片段的相关性,计算各计算节点的数据局部性权重。数据局部性权重反映了数据片段在计算节点上的局部性特征,可以根据相关性度量方法进行计算。
例如,对于数据片段A和数据片段B,可以通过相关性度量方法计算出节点1的数据局部性权重为0.9,节点2的数据局部性权重为0.7,节点3的数据局部性权重为0.8。
步骤S432,根据各计算节点的当前负载计算其负载权衡权重。
在这一步骤中,根据各计算节点的当前负载情况,计算其负载权衡权重。负载权衡权重可以根据计算节点的负载情况进行计算,以实现负载平衡。
例如,对于节点1、节点2和节点3,根据其当前负载情况,计算出节点1的负载权衡权重为0.6,节点2的负载权衡权重为0.8,节点3的负载权衡权重为0.7。
步骤S433,确定各数据片段的优先级信息,并根据各数据片段的优先级信息确定各计算节点的动态调度权重。
在这一步骤中,确定各数据片段的优先级信息,并根据各数据片段的优先级信息确定各计算节点的动态调度权重。优先级信息可以根据数据片段的重要程度、紧急程度等进行确定。
例如,对于数据片段A和数据片段B,确定数据片段A的优先级为高,数据片段B的优先级为中。根据优先级信息,确定节点1的动态调度权重为0.9,节点2的动态调度权重为0.7,节点3的动态调度权重为0.8。
步骤S434,根据各计算节点的数据局部性权重、负载权衡权重以及动态调度权重计算各计算节点对应的分配权重。
在这一步骤中,根据各计算节点的数据局部性权重、负载权衡权重和动态调度权重,计算各计算节点对应的分配权重。分配权重综合考虑了数据局部性、负载平衡和动态调度等因素。
例如,根据节点1的数据局部性权重0.9,负载权衡权重0.6和动态调度权重0.9,计算出节点1的分配权重为0.76。同样地,根据节点2的数据局部性权重0.7,负载权衡权重0.8和动态调度权重0.7,计算出节点2的分配权重为0.73。根据节点在工业数字孪生技术中,数据片段之间的相关性对于计算节点的数据分配和并行处理的效率至关重要。然而,现有的数据分配方法在考虑数据片段之间的相关性方面仍存在一些问题,如相关性计算方法的选择、相关系数的计算等,基于此,本发明还提供一个实施例,步骤S431,根据数据片段的相关性计算各计算节点的数据局部性权重。
在这一步骤中,根据数据片段的相关性,计算各计算节点的数据局部性权重。数据局部性权重反映了数据片段之间的相关性程度,可以根据相关性计算方法进行计算。
步骤a,根据数据片段类型确定关联系数算法、距离系数算法以及邻近性系数算法。
在这一步骤中,根据数据片段的类型,确定关联系数算法、距离系数算法以及邻近性系数算法。不同类型的数据片段可能适用于不同的相关性计算方法。
例如,对于传感器数据片段,可以选择关联系数算法来计算数据片段之间的相关系数。对于位置数据片段,可以选择距离系数算法来计算数据片段之间的远近程度。对于时间序列数据片段,可以选择邻近性系数算法来计算数据片段之间的邻近性。
步骤b,基于关联系数算法计算数据片段之间的相关系数。
在这一步骤中,基于关联系数算法计算数据片段之间的相关系数。关联系数算法可以根据数据片段之间的相似性、相关性等进行计算。
例如,可以使用皮尔逊相关系数、Spearman相关系数等来计算数据片段之间的相关系数。
步骤c,基于距离系数算法计算用于表示数据片段之间远近程度的距离系数。
在这一步骤中,基于距离系数算法计算用于表示数据片段之间远近程度的距离系数。距离系数算法可以根据数据片段之间的距离、相似性等进行计算。
例如,可以使用欧几里得距离、曼哈顿距离等来计算数据片段之间的距离系数。
步骤d,基于邻近性系数算法计算用于表示数据片段之间邻近性的邻近性系数。
在这一步骤中,基于邻近性系数算法计算用于表示数据片段之间邻近性的邻近性系数。邻近性系数算法可以根据数据片段之间的邻近程度、相似性等进行计算。
例如,可以使用Jaccard相似系数、余弦相似度等来计算数据片段之间的邻近性系数。
步骤e,对相关系数、距离系数以及邻近性系数进行相乘运算得到数据局部性权重。
在这一步骤中,将相关系数、距离系数以及邻近性系数进行相乘运算,得到数据局部性权重。相乘运算可以综合考虑数据片段之间的相关性、距离程度和邻近性。
例如,对于数据片段A和数据片段B,可以将它们之间的相关系数、距离系数和邻近性系数分别乘以得到数据局部性权重。
通过本发明的工业数字孪生的数据空间构建方法,可以更准确地计算数据片段之间的相关性,从而确定计算节点的数据局部性权重,提高数据处理的效率和速度。
在本发明的又一实施例中,根据各计算节点的数据局部性权重和负载权衡权重以及动态调度权重计算各计算节点对应的分配权重的步骤,包括:
分配权重 = α * 数据局部性权重 + β * 负载均衡权重 + γ * 动态调度权重;
在该步骤中,数据局部性权重可以基于数据之间的关联性、距离等因素进行计算,可以使用如下公式:
数据局部性权重 = Σ (p* δ * θ);
其中,p是数据之间的关联系数,δ是数据之间的距离系数,θ是数据之间的邻近性系数。可以根据实际情况选择合适的计算方法和权重系数。
负载均衡权重可以基于计算节点的负载情况进行计算,可以使用如下公式:
负载均衡权重 = (1 - ρ) * η;
其中,ρ是计算节点的负载指标(如CPU利用率、内存使用率等),η是调节负载均衡系数。可以根据实际情况选择合适的负载指标和调节系数。
动态调度权重可以根据数据处理的优先级和实际需求进行计算,可以使用如下公式:
动态调度权重 = Σ (π_i * p* θ);
其中,π_i是数据处理的优先级,p是数据更新的频率,θ是任务紧急程度。可以根据实际需求选择合适的计算方法和权重系数。
动态分配系数可以根据数据处理规模和需求进行计算,可以使用如下公式:
动态分配系数 = λ * (1 - ρ);
其中,λ是弹性扩展的调节系数,ρ是计算节点的负载指标。可以根据实际情况选择合适的调节系数和负载指标。
通过综合考虑数据局部性、负载均衡、动态调度和弹性扩展等因素,可以设计一个更复杂的权重计算公式,以优化数据分布节点的效果。需要根据具体的应用场景和需求进行调整和优化。
其中,根据各计算节点的当前负载计算其负载权衡权重的步骤,包括:
获取计算节点的负载指标,所述负载指标包括cpu利用率;
根据负载指标确定调节负载均衡系数,其中,所述调节负载均衡系数的计算公式如下:
η = k * (1 - ρ);
其中,ρ是计算节点的负载指标,η是调节负载均衡系数,k是一个正数,用于调节负载均衡的敏感度;
根据负载指标和所述调节负载均衡系数计算负载均衡权重,其中,所述负载均衡权重计算公式如下:
负载均衡权重 = (1 - ρ) * η;
其中,ρ是计算节点的负载指标,η是调节负载均衡系数。
另外,所述优先级信息包括数据处理优先级和任务截至时间,确定所述各数据片段的优先级信息,并根据所述各数据片段的优先级信息确定各计算节点的动态调度权重的步骤,包括:
根据上一次接收到更新数据信息时的时刻,与当前时刻计算数据更新的时间间隔;
根据所述时间间隔计算数据更新的频率,所述数据更新的频率计算公式如下:
p= α * (1 - e^(t/τ));
其中,α是指数加权函数的系数,t是数据更新时间间隔,τ是时间常数;
根据所述任务截至时间计算任务的紧急程度,所述任务的紧急程度计算公式如下:
θ = 1 / (1 + e^(h(t - t_0)));
其中,h是S形函数的斜率,t是任务截止时间,t_0是任务的起始时间;
对数据处理优先级、数据更新的频率以及任务的紧急程度进行相乘得到所述动态调度权重。
在本发明的又一实施例中,根据各计算节点的数据局部性权重和负载权衡权重以及动态调度权重计算各计算节点对应的分配权重的步骤,包括:
确定所述数据局部性权重的初始系数α;
确定所述负载权衡权重的初始系数β;
确定所述动态调度权重的初始系数γ;
到此,分配权重的表达式可以写为,分配权重=α * 数据局部性权重 + β * 负载均衡权重 + γ * 动态调度权重。
首先在本发明实施例中的初始系数α、β以及γ均为独立系数,若与之前实施例中系数重复,其各自代表的含义不同。
然后,基于所述数据局部性权重的初始系数、所述负载权衡权重的初始系数以及所述动态调度权重的初始系数计算动态分配系数的步骤,可以通过以下具体表达式计算:
动态分配系数 = (1 - α - β - γ) / N;
其中,N为计算节点的数量。该表达式表示了剩余权重的均分给每个计算节点,以实现弹性扩展的目的。
具体地,基于更新后的分配系数、数据局部性权重、负载权衡权重以及动态调度权重计算所述分配权重的步骤实施例如下:
如果有4个计算节点,且α、β和γ的权重分别为0.3、0.4和0.2,则动态分配系数为(1 - 0.3 - 0.4 - 0.2) / 4 = 0.025。这意味着每个计算节点都会获得0.025的动态分配系数。
另外,根据实际情况,动态分配系数的计算中还可以综合考虑性能指标与资源利用率因素,动态分配系数的表达式如下:
动态分配系数 = (1 - α - β - γ) * (性能指标 / 资源利用率);
其中,性能指标可以是计算节点的处理能力、吞吐量或响应时间等。资源利用率表示计算节点当前的资源利用情况,如CPU利用率、内存利用率或网络带宽利用率等。
这个表达式表示动态分配系数与计算节点的性能指标成正比,与资源利用率成反比。当计算节点的性能指标高且资源利用率低时,动态分配系数会相应增加,以鼓励更多的任务分配到该节点进行处理。
例如,假设有4个计算节点,α、β和γ的权重分别为0.3、0.4和0.2。其中,节点A的性能指标为0.8,资源利用率为0.6;节点B的性能指标为0.9,资源利用率为0.7;节点C的性能指标为1.2,资源利用率为0.5;节点D的性能指标为1.0,资源利用率为0.8。那么,节点A的动态分配系数为(1 - 0.3 - 0.4 - 0.2) * (0.8 / 0.6) = 0.4;节点B的动态分配系数为(1- 0.3 - 0.4 - 0.2) * (0.9 / 0.7) = 0.428;节点C的动态分配系数为(1 - 0.3 - 0.4- 0.2) * (1.2 / 0.5) = 1.056;节点D的动态分配系数为(1 - 0.3 - 0.4 - 0.2) *(1.0 / 0.8) = 0.35。根据这些权重,任务可以更合理地分配给性能较好且资源利用率较低的节点,从而实现弹性扩展和负载均衡的目标。
为了动态分配系数的计算精确度,可以进行以下计算优化:
引入权重调整参数:为了更好地控制权重的调整幅度,可以引入权重调整参数,记为δ。该参数可以根据实际需求来确定,用于控制权重的调整幅度。较小的δ值会使权重调整更平滑缓慢,而较大的δ值则会使权重调整更快速。
引入动态阈值:为了更准确地根据节点的实时状态进行权重调整,可以引入动态阈值。动态阈值可以根据历史数据和趋势分析来预测节点的性能和资源利用情况,从而更准确地判断节点是否需要调整权重。
改进后的公式为:
弹性扩展权重 = (1 - α - β - γ) * (性能指标 / (资源利用率 + ε));
其中,ε是一个较小的正值,用于避免除以0的情况。
在计算过程中,根据节点的实时性能指标和资源利用率,先根据动态阈值判断节点是否需要调整权重。如果节点需要调整权重,则根据上述公式计算新的弹性扩展权重,并根据权重调整参数δ进行调整。
这样的计算优化可以提高公式的精确度,根据节点的实际情况进行动态调整,更好地适应变化的工作负载。同时,引入动态阈值可以更准确地预测节点的性能和资源利用情况,从而提高权重调整的准确性和效果。
综上所述,可以按照以下步骤进行:
1、引入权重调整参数δ:确定一个合适的δ值,用于控制权重的调整幅度。较小的δ值会使权重调整更平滑缓慢,而较大的δ值则会使权重调整更快速。
2、引入动态阈值:根据节点的历史数据和趋势分析,预测节点的性能和资源利用情况,并计算动态阈值。可以考虑使用移动平均或指数平滑等方法来计算动态阈值。
3、在实时计算过程中,根据节点的性能指标和资源利用率,判断节点是否需要调整权重。如果节点的性能指标或资源利用率超过动态阈值,则表示节点需要调整权重。
4、如果节点需要调整权重,则根据以下公式计算新的弹性扩展权重:
弹性扩展权重 = (1 - α - β - γ) * (性能指标 / (资源利用率 + ε));
其中,α、β、γ是权重分配的其他参数,可以根据具体情况进行调整;ε是一个较小的正值,用于避免除以0的情况。
5、根据权重调整参数δ对新的弹性扩展权重进行调整:
动态调整后的权重 = 弹性扩展权重 * (1 - δ * 超过阈值的次数);
其中,超过阈值的次数表示节点在连续一段时间内超过了动态阈值的次数。
通过以上步骤,可以实现根据节点的实时状态进行权重调整,提高计算精确度。动态阈值的引入可以更准确地预测节点的性能和资源利用情况,从而更好地判断是否需要调整权重。权重调整参数δ的引入可以控制权重调整的幅度,使调整更加平滑和合理。这样的计算优化方法可以提高工业数字孪生的数据空间构建的精确度和效果。
6、实时监测节点的性能指标和资源利用率。可以使用传感器、监控系统或其他数据采集工具来获取节点的实时数据。这些数据可以包括节点的处理速度、延迟时间、内存利用率、网络带宽等指标。
7、基于历史数据和趋势分析,计算动态阈值。可以使用统计分析或机器学习算法来分析节点的历史数据,预测节点的性能和资源利用情况。根据预测结果,计算动态阈值,用于判断节点是否需要调整权重。
8、判断节点是否需要调整权重。比较节点的实时性能指标和资源利用率与动态阈值,如果超过阈值,则表示节点需要调整权重。
9、根据公式计算新的弹性扩展权重。将节点的性能指标除以资源利用率,并乘以权重分配的参数,计算新的弹性扩展权重。
10、根据权重调整参数δ进行调整。根据节点是否连续超过阈值的次数,使用权重调整参数δ对新的弹性扩展权重进行调整。如果节点连续超过阈值的次数较多,则调整幅度较大;如果节点连续超过阈值的次数较少,则调整幅度较小。
11、更新节点的权重。将调整后的权重更新到工业数字孪生的数据空间中,以便后续的决策和计算过程使用。
通过以上步骤,可以实现对工业数字孪生的数据空间进行动态调整和优化。根据节点的实时状态和预测结果,判断节点是否需要调整权重,并根据公式和调整参数对权重进行计算和调整。这样可以更准确地反映节点的性能和资源利用情况,提高工业数字孪生的数据空间构建的精确度和效果。
在本发明提供的又一实施例中,还提供了一种工业数字孪生的数据空间构建系统,包括:
采集模块,用于采集工厂的数字信息,所述数字信息包括工厂内设备的工业参数;
建模模块,用于基于所述数字信息进行数据建模,得到数据空间模型;
分布模块,用于当接收到工厂中采集器反馈的更新数据信息时,对所述更新数据信息进行数据分片得到多各数据片段;
获取模块,用于获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集;
更新模块,用于根据所述多个更新集对所述数据空间模型进行更新。
本发明实施例还提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种工业数字孪生的数据空间构建方法,其特征在于,包括:
采集工厂的数字信息,所述数字信息包括工厂内设备的工业参数;
基于所述数字信息进行数据建模,得到数据空间模型;
当接收到工厂中采集器反馈的更新数据信息时,对所述更新数据信息进行数据分片得到多各数据片段;
获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集;
根据所述多个更新集对所述数据空间模型进行更新。
2.根据权利要求1所述的工业数字孪生的数据空间构建方法,其特征在于,获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集的步骤,包括:
针对每个数据片段,计算每个可分配计算节点的分配权重;
比较各计算节点的分配权重,将数据片段发送至分配权重最大的计算节点上;
重复针对每个数据片段,计算每个可分配计算节点的分配权重,直至将全部数据片段全部分配至计算节点上。
3.根据权利要求2所述的工业数字孪生的数据空间构建方法,其特征在于,计算每个可分配计算节点的分配权重的步骤,包括:
根据数据片段的相关性计算各计算节点的数据局部性权重;
根据各计算节点的当前负载计算其负载权衡权重;
确定所述各数据片段的优先级信息,并根据所述各数据片段的优先级信息确定各计算节点的动态调度权重;
根据各计算节点的数据局部性权重和负载权衡权重以及动态调度权重计算各计算节点对应的分配权重。
4.根据权利要求3所述的工业数字孪生的数据空间构建方法,其特征在于,根据数据片段的相关性计算各计算节点的数据局部性权重的步骤,包括:
根据数据片段类型确定关联系数算法、距离系数算法以及邻近性系数算法;
基于所述关联系数算法计算数据片段之间的相关系数;
基于所述距离系数算法计算用于表示数据片段之间远近程度的距离系数;
基于所述邻近性系数算法计算用于表示数据片段之间邻近性的邻近性系数;
对所述相关系数、距离系数以及邻近性系数进行相乘运算得到所述数据局部性权重。
5.根据权利要求4所述的工业数字孪生的数据空间构建方法,其特征在于,根据各计算节点的当前负载计算其负载权衡权重的步骤,包括:
获取计算节点的负载指标,所述负载指标包括cpu利用率;
根据负载指标确定调节负载均衡系数,其中,所述调节负载均衡系数的计算公式如下:
η = k * (1 - ρ);
其中,ρ是计算节点的负载指标,η是调节负载均衡系数,k是一个正数,用于调节负载均衡的敏感度;
根据负载指标和所述调节负载均衡系数计算负载均衡权重,其中,所述负载均衡权重计算公式如下:
负载均衡权重 = (1 - ρ) * η;
其中,ρ是计算节点的负载指标,η是调节负载均衡系数。
6.根据权利要求5所述的工业数字孪生的数据空间构建方法,其特征在于,所述优先级信息包括数据处理优先级和任务截至时间,确定所述各数据片段的优先级信息,并根据所述各数据片段的优先级信息确定各计算节点的动态调度权重的步骤,包括:
根据上一次接收到更新数据信息时的时刻,与当前时刻计算数据更新的时间间隔;
根据所述时间间隔计算数据更新的频率,所述数据更新的频率计算公式如下:
p= α * (1 - e^(t/τ));
其中,α是指数加权函数的系数,t是数据更新时间间隔,τ是时间常数;
根据所述任务截至时间计算任务的紧急程度,所述任务的紧急程度计算公式如下:
θ = 1 / (1 + e^(h(t - t_0)));
θ其中,h是S形函数的斜率,t是任务截止时间,t_0是任务的起始时间;
对数据处理优先级、数据更新的频率以及任务的紧急程度进行相乘得到所述动态调度权重。
7.根据权利要求6所述的工业数字孪生的数据空间构建方法,其特征在于,根据各计算节点的数据局部性权重和负载权衡权重以及动态调度权重计算各计算节点对应的分配权重的步骤,包括:
确定所述数据局部性权重的初始系数;
确定所述负载权衡权重的初始系数;
确定所述动态调度权重的初始系数;
基于所述数据局部性权重的初始系数、所述负载权衡权重的初始系数以及所述动态调度权重的初始系数计算动态分配系数;
基于更新后的分配系数、数据局部性权重、负载权衡权重以及动态调度权重计算所述分配权重。
8.一种工业数字孪生的数据空间构建系统,其特征在于,包括:
采集模块,用于采集工厂的数字信息,所述数字信息包括工厂内设备的工业参数;
建模模块,用于基于所述数字信息进行数据建模,得到数据空间模型;
分布模块,用于当接收到工厂中采集器反馈的更新数据信息时,对所述更新数据信息进行数据分片得到多各数据片段;
获取模块,用于获取待分配的多个计算节点,将各数据片段分布到多个计算节点上并行处理,得到多个更新集;
更新模块,用于根据所述多个更新集对所述数据空间模型进行更新。
9.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1到7任一所述的工业数字孪生的数据空间构建方法。
10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的工业数字孪生的数据空间构建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311352788.8A CN117092977B (zh) | 2023-10-19 | 2023-10-19 | 工业数字孪生的数据空间构建方法、系统、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311352788.8A CN117092977B (zh) | 2023-10-19 | 2023-10-19 | 工业数字孪生的数据空间构建方法、系统、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117092977A true CN117092977A (zh) | 2023-11-21 |
CN117092977B CN117092977B (zh) | 2024-01-30 |
Family
ID=88783698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311352788.8A Active CN117092977B (zh) | 2023-10-19 | 2023-10-19 | 工业数字孪生的数据空间构建方法、系统、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117092977B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107623639A (zh) * | 2017-09-08 | 2018-01-23 | 广西大学 | 基于emd距离的数据流分布式相似性连接方法 |
CN111726415A (zh) * | 2020-06-30 | 2020-09-29 | 国电南瑞科技股份有限公司 | 一种基于负反馈机制的tcp长连接负载均衡调度方法及系统 |
CN114371933A (zh) * | 2021-12-28 | 2022-04-19 | 深度数智科技(珠海)有限公司 | 一种动态调度多核融合计算处理器的方法及其系统 |
CN114637262A (zh) * | 2022-03-10 | 2022-06-17 | 广东泰云泽科技有限公司 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
CN115480537A (zh) * | 2021-06-16 | 2022-12-16 | 费希尔-罗斯蒙特系统公司 | 用于工业过程工厂的软件定义过程控制系统 |
CN116501005A (zh) * | 2023-06-30 | 2023-07-28 | 广州力控元海信息科技有限公司 | 一种数字孪生联动的工厂运行管理方法及系统 |
CN116880372A (zh) * | 2023-06-15 | 2023-10-13 | 浙江链捷数字科技有限公司 | 数字孪生工厂的运行优化方法及系统 |
-
2023
- 2023-10-19 CN CN202311352788.8A patent/CN117092977B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107623639A (zh) * | 2017-09-08 | 2018-01-23 | 广西大学 | 基于emd距离的数据流分布式相似性连接方法 |
CN111726415A (zh) * | 2020-06-30 | 2020-09-29 | 国电南瑞科技股份有限公司 | 一种基于负反馈机制的tcp长连接负载均衡调度方法及系统 |
CN115480537A (zh) * | 2021-06-16 | 2022-12-16 | 费希尔-罗斯蒙特系统公司 | 用于工业过程工厂的软件定义过程控制系统 |
CN114371933A (zh) * | 2021-12-28 | 2022-04-19 | 深度数智科技(珠海)有限公司 | 一种动态调度多核融合计算处理器的方法及其系统 |
CN114637262A (zh) * | 2022-03-10 | 2022-06-17 | 广东泰云泽科技有限公司 | 基于5g驱动的智能工厂数字孪生信息的决策控制方法及系统 |
CN116880372A (zh) * | 2023-06-15 | 2023-10-13 | 浙江链捷数字科技有限公司 | 数字孪生工厂的运行优化方法及系统 |
CN116501005A (zh) * | 2023-06-30 | 2023-07-28 | 广州力控元海信息科技有限公司 | 一种数字孪生联动的工厂运行管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117092977B (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11481653B2 (en) | Predictive asset optimization for computer resources | |
CN113434253B (zh) | 集群资源调度方法、装置、设备及存储介质 | |
CN102799512B (zh) | 一种基于向量自回归的云计算中虚拟机监控方法 | |
CN104317658A (zh) | 一种基于MapReduce的负载自适应任务调度方法 | |
CN116974768A (zh) | 一种基于深度学习的算力调度方法 | |
Qazi et al. | Workload prediction of virtual machines for harnessing data center resources | |
CN115168027A (zh) | 一种基于深度强化学习的算力资源度量方法 | |
CN111046091A (zh) | 数据交换系统的运行方法、装置及设备 | |
CN113806094B (zh) | 一种基于深度学习的云平台资源动态调度方法 | |
CN113225994B (zh) | 一种面向数据中心的智能空调控制方法 | |
CN117092977B (zh) | 工业数字孪生的数据空间构建方法、系统、设备及介质 | |
JP7111779B2 (ja) | コンピュータリソースのための予測的資産最適化 | |
Huang et al. | Distributed dictionary learning for industrial process monitoring with big data | |
JP2021005387A5 (zh) | ||
CN116028193B (zh) | 一种混部集群的大数据任务动态高能效调度方法和系统 | |
Xian et al. | H-ps: A heterogeneous-aware parameter server with distributed neural network training | |
Lili et al. | A Markov chain based resource prediction in computational grid | |
CN111796995B (zh) | 基于集成学习的循环序列号使用量预警方法及系统 | |
Samreen et al. | Q-learning scheduler and load balancer for heterogeneous systems | |
CN117971509B (zh) | 异构算力集群的运行性能优化方法、装置、设备及介质 | |
CN116048820B (zh) | 面向边缘云的dnn推断模型部署能耗优化方法和系统 | |
Zhao et al. | Storm-Based Scheduling Method for Streaming Computing Engine | |
CN117453388B (zh) | 一种分布式算力智能调度系统及方法 | |
CN118691059B (zh) | 基于数据驱动的水资源数字化处理系统及装置 | |
WO2014068980A1 (ja) | 分散データ処理システム、及び、分散データ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |