CN117667361B - 一种分布式协同仿真架构实现方法及装置 - Google Patents
一种分布式协同仿真架构实现方法及装置 Download PDFInfo
- Publication number
- CN117667361B CN117667361B CN202410131444.2A CN202410131444A CN117667361B CN 117667361 B CN117667361 B CN 117667361B CN 202410131444 A CN202410131444 A CN 202410131444A CN 117667361 B CN117667361 B CN 117667361B
- Authority
- CN
- China
- Prior art keywords
- value
- data
- model
- nonlinear transformation
- models
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000004088 simulation Methods 0.000 title claims abstract description 27
- 238000010606 normalization Methods 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000009466 transformation Effects 0.000 claims description 77
- 230000006870 function Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000002829 reductive effect Effects 0.000 claims description 7
- 238000007726 management method Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种分布式协同仿真架构实现方法及装置，该方法包括：根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理；对判断结果为需要进行归一化处理的数据执行归一化处理步骤；对不同属性模型创建注册信息；其中，注册信息包括模型的类型、大小和运行时间；根据注册信息为不同属性模型分配资源，并使其执行调度任务；对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能；提供统一的模型调度应用程序编程接口，简化创建、管理和调度模型的操作，从而解决了采用不同的调度策略意味着需要对不同属性模型进行单独的管理和监控，不利于实现统一的管理和调度的问题。
Description
技术领域
本申请涉及计算机仿真技术领域，尤其涉及一种分布式协同仿真架构实现方法及装置。
背景技术
在分布式协同半物理仿真架构中，通常会涉及到全数字模型和半实物模型这两种模型的调度。全数字模型是完全基于计算机仿真的模型，而半实物模型则是部分基于真实物理设备或模型的仿真。以往用户都是按照模型的属性划分为全数字模型和半实物模型，并且在模型调度中对两种模型的调度策略有所差异，导致一个系统中的模型调度需要根据模型的属性不同开发不同的调度策略。
因此，现有的技术是依据模型的属性进行划分和调度，开发人员需要针对每种模型的属性不同单独开发相应的调度策略，增加了开发难度和工作量，并且采用不同的调度策略意味着需要对不同属性模型进行单独的管理和监控，不利于实现统一的管理和调度。
发明内容
在本申请实施例中，通过提供一种分布式协同仿真架构实现方法，解决了现有的技术是依据模型的属性进行划分和调度，开发人员需要针对每种模型的属性不同单独开发相应的调度策略，增加了开发难度和工作量，并且采用不同的调度策略意味着需要对不同属性模型进行单独的管理和监控，不利于实现统一的管理和调度的问题。
第一方面，本申请实施例提供了一种分布式协同仿真架构实现方法，该方法包括：根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理；对判断结果为需要进行归一化处理的数据执行归一化处理步骤；其中，所述归一化处理步骤包括：计算输入的数据的平均值和标准差；根据输入的数据的平均值和标准差计算每个数据的标准化值；使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值；根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，使归一化值均在0至1之间，从而完成归一化处理步骤；对不同属性模型创建注册信息；其中，注册信息包括模型的类型、大小和运行时间；根据所述注册信息为不同属性模型分配资源，并使其执行调度任务；对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能；提供统一的模型调度应用程序编程接口，简化创建、管理和调度模型的操作。
结合第一方面，在一种可能的实现方式中，所述根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理，包括：计算输入的数据的方差以及每个数据与方差之间的差值，在所计算的差值中选取最小差值，并对选取的最小差值与平均差值的比值进行计算；判断所计算的比值是否小于预设阈值；若比值小于预设阈值，进行归一化处理；若比值大于预设阈值，不进行归一化处理。
结合第一方面，在一种可能的实现方式中，所述计算输入的数据的方差，计算公式如下：；其中，/>为输入的数据的方差，/>为不同属性模型所输入的数据，/>为数据的平均值，n为数据的总个数；/>；其中，/>为数据的平均值，n为数据的总个数，/>为不同属性模型所输入的数据；所述对选取的最小差值与平均差值的比值进行计算，计算公式如下：/>；其中，P为最小差值与平均差值的比值，/>为选取的最小差值，/>为平均差值。
结合第一方面，在一种可能的实现方式中，计算输入的数据的标准差，计算公式如下：；其中，/>为数据的标准差，n为数据的总个数，/>为数据的平均值，/>为不同属性模型所输入的数据。
结合第一方面，在一种可能的实现方式中，所述根据输入的数据的平均值和标准差计算每个数据的标准化值，计算公式如下：；其中，/>为每个数据的标准化值，为不同属性模型所输入的数据，/>为数据的平均值，/>为数据的标准差。
结合第一方面，在一种可能的实现方式中，所述使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值，包括：使用对数函数将标准化值转换为以预设值为底的指数，从而获得第一数值；将第一数值乘以10，获得0至10之间的第二数值；将第二数值加上1，从而获得1至11之间的每个数据的非线性变换数值。
结合第一方面，在一种可能的实现方式中，所述根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，计算公式如下：x归一化值=(x非线性变换数值-xmin)/(xmax-xmin)；其中，x归一化值为每个数据的非线性变换数值所对应的归一化值，x非线性变换数值为每个数据的非线性变换数值，xmin为非线性变换数值中的最小值，xmax为非线性变换数值中的最大值。
结合第一方面，在一种可能的实现方式中，所述对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能，包括：收集模型的运行数据；检测模型是否出现异常情况；所述异常情况包括过拟合和欠拟合；当模型出现过拟合情况时，增加正则化项或减少特征数量降低模型复杂度；当模型出现欠拟合情况时，增加训练数据或调整模型结构提高模型性能；监控资源使用情况，确保模型在有限的资源下正常运行；监控模型版本，确保在部署和使用模型时，始终使用的是最新或最优化的版本。
第二方面，本申请实施例提供了一种分布式协同仿真架构实现装置，该装置包括：判断模块，用于根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理；执行归一化处理步骤模块，用于对判断结果为需要进行归一化处理的数据执行归一化处理步骤；其中，所述归一化处理步骤包括：计算输入的数据的平均值和标准差；根据输入的数据的平均值和标准差计算每个数据的标准化值；使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值；根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，使归一化值均在0至1之间，从而完成归一化处理步骤；创建模块，用于对不同属性模型创建注册信息；其中，注册信息包括模型的类型、大小和运行时间；分配模块，用于根据所述注册信息为不同属性模型分配资源，并使其执行调度任务；优化模块，用于对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能；提供接口模块，用于提供统一的模型调度应用程序编程接口，简化创建、管理和调度模型的操作。
结合第二方面，在一种可能的实现方式中，所述根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理，包括：计算输入的数据的方差以及每个数据与方差之间的差值，在所计算的差值中选取最小差值，并对选取的最小差值与平均差值的比值进行计算；判断所计算的比值是否小于预设阈值；若比值小于预设阈值，进行归一化处理；若比值大于预设阈值，不进行归一化处理。
结合第二方面，在一种可能的实现方式中，所述计算输入的数据的方差，计算公式如下：；其中，/>为输入的数据的方差，/>为不同属性模型所输入的数据，/>为数据的平均值，n为数据的总个数；/>；其中，/>为数据的平均值，n为数据的总个数，/>为不同属性模型所输入的数据；所述对选取的最小差值与平均差值的比值进行计算，计算公式如下：/>；其中，P为最小差值与平均差值的比值，/>为选取的最小差值，/>为平均差值。
结合第二方面，在一种可能的实现方式中，计算输入的数据的标准差，计算公式如下：；其中，/>为数据的标准差，n为数据的总个数，/>为数据的平均值，/>为不同属性模型所输入的数据。
结合第二方面，在一种可能的实现方式中，所述根据输入的数据的平均值和标准差计算每个数据的标准化值，计算公式如下：；其中，/>为每个数据的标准化值，为不同属性模型所输入的数据，/>为数据的平均值，/>为数据的标准差。
结合第二方面，在一种可能的实现方式中，所述使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值，包括：使用对数函数将标准化值转换为以预设值为底的指数，从而获得第一数值；将第一数值乘以10，获得0至10之间的第二数值；将第二数值加上1，从而获得1至11之间的每个数据的非线性变换数值。
结合第二方面，在一种可能的实现方式中，所述根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，计算公式如下：x归一化值=(x非线性变换数值-xmin)/(xmax-xmin)；其中，x归一化值为每个数据的非线性变换数值所对应的归一化值，x非线性变换数值为每个数据的非线性变换数值，xmin为非线性变换数值中的最小值，xmax为非线性变换数值中的最大值。
结合第二方面，在一种可能的实现方式中，所述对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能，包括：收集模型的运行数据；检测模型是否出现异常情况；所述异常情况包括过拟合和欠拟合；当模型出现过拟合情况时，增加正则化项或减少特征数量降低模型复杂度；当模型出现欠拟合情况时，增加训练数据或调整模型结构提高模型性能；监控资源使用情况，确保模型在有限的资源下正常运行；监控模型版本，确保在部署和使用模型时，始终使用的是最新或最优化的版本。
第三方面，本申请实施例提供了一种分布式协同仿真架构实现服务器，包括存储器和处理器；所述存储器用于存储计算机可执行指令；所述处理器用于执行所述计算机可执行指令，以实现第一方面或第一方面任一种可能的实现方式所述的方法。
本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果：
本申请实施例提供了一种分布式协同仿真架构实现方法，根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理。对判断结果为需要进行归一化处理的数据执行归一化处理步骤。对不同属性模型创建注册信息。其中，注册信息包括模型的类型、大小和运行时间。根据注册信息为不同属性模型分配资源，并使其执行调度任务。对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能。提供统一的模型调度应用程序编程接口，简化创建、管理和调度模型的操作，解决了现有的技术是依据模型的属性进行划分和调度，开发人员需要针对每种模型的属性不同单独开发相应的调度策略，增加了开发难度和工作量，并且采用不同的调度策略意味着需要对不同属性模型进行单独的管理和监控，不利于实现统一的管理和调度的问题，并且能够缩短开发周期、节约开发成本和易于维护升级。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的分布式协同仿真架构实现方法的流程图；
图2为本申请实施例提供的根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理具体流程图；
图3为本申请实施例提供的对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能的具体流程图；
图4为本申请实施例提供的分布式协同仿真架构实现装置的示意图；
图5为本申请实施例提供的分布式协同仿真架构实现服务器的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下对本申请实施例涉及的部分技术做出说明，以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了部分对公知功能和结构的描述。
本申请实施例提供了一种分布式协同仿真架构实现方法，如图1所示，该方法包括步骤S101至步骤S110。其中，图1仅为本申请实施例示出的一种执行顺序，并不代表一种分布式协同仿真架构实现方法的唯一执行顺序，在可实现最终结果的情况下，图1所示出的步骤可以被并列或颠倒执行。
S101：根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理。
图2为本申请实施例提供的根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理具体流程图，如图2所示，包括步骤S201至步骤S204。
S201：计算输入的数据的方差以及每个数据与方差之间的差值，在所计算的差值中选取最小差值，并对选取的最小差值与平均差值的比值进行计算。
具体地，计算输入的数据的方差，计算公式如下：
。其中，/>为输入的数据的方差，/>为不同属性模型所输入的数据，为数据的平均值，n为数据的总个数。
具体地，方差是衡量数据波动或分散程度的统计量，通过方差可以判断输入的数据的离散程度。计算每个数据与方差之间的差值，即那些与整体数据分布明显偏离的数据所形成的数据点。这些数据点会对数据分析产生不利影响，因此通过归一化处理可以对其进行适当的处理。最小差值表示最接近整体数据分布的数据，如果数据中存在极端值，这些极端值可能会对整体数据的分析产生显著影响。通过计算每个数据点与方差之间的差值，并选取最小差值，能够降低极端值的影响，使得数据分析更加稳健。计算选取的最小差值与平均差值的比值，这个比值用于进一步量化每个数据与整体数据分布的接近程度。
具体地，。其中，/>为数据的平均值，n为数据的总个数，为不同属性模型所输入的数据。
具体地，对选取的最小差值与平均差值的比值进行计算，计算公式如下：
。其中，P为最小差值与平均差值的比值，/>为选取的最小差值，/>为平均差值。
S202：判断所计算的比值是否小于预设阈值。
若比值小于预设阈值即判断结果为是，执行步骤S203：进行归一化处理。
若比值大于预设阈值即判断结果为否，执行步骤S204：不进行归一化处理。
具体地，如果比值小于预设阈值，说明数据分布较为离散，需要进行归一化处理来统一尺度；如果比值大于预设阈值，说明数据分布较为集中，可以不进行归一化处理。需要进行说明的是，预设阈值的设定需要根据具体的数据特性和应用需求进行调整。
S102：对判断结果为需要进行归一化处理的数据执行归一化处理步骤。
S103：计算输入的数据的平均值和标准差。
计算输入的数据的标准差，计算公式如下：
。其中，/>为数据的标准差，n为数据的总个数，/>为数据的平均值，/>为不同属性模型所输入的数据。
S104：根据输入的数据的平均值和标准差计算每个数据的标准化值。
具体地，根据输入的数据的平均值和标准差计算每个数据的标准化值，计算公式如下：
。其中，/>为每个数据的标准化值，/>为不同属性模型所输入的数据，/>为数据的平均值，/>为数据的标准差。
S105：使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值。
具体地，使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值，包括：
使用对数函数将标准化值转换为以预设值为底的指数，从而获得第一数值。将第一数值乘以10，获得0至10之间的第二数值。将第二数值加上1，从而获得1至11之间的每个数据的非线性变换数值。
下面列举一种实施方式对上述使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值的过程进行说明，当然，还可以为其他的实施方式，此处不作为对本申请保护范围的限制。
假设所获得的标准化值为，将预设值设置为10，那么使用对数函数将标准化值转换为以预设值为底的指数，从而获得第一数值为/>，将第一数值乘以10，获得0至10之间的第二数值为0.5×10=5，将第二数值加上1，从而获得1至11之间的每个数据的非线性变换数值为5+1=6。
S106：根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，使归一化值均在0至1之间，从而完成归一化处理步骤。具体地，0至1之间可以理解为[0，1]范围内，本申请所表述的两个数值之间均可以理解为可以等于两个数值，并在两个数值的范围内。
具体地，根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，计算公式如下：
x归一化值=(x非线性变换数值-xmin)/(xmax-xmin)。其中，x归一化值为每个数据的非线性变换数值所对应的归一化值，x非线性变换数值为每个数据的非线性变换数值，xmin为非线性变换数值中的最小值，xmax为非线性变换数值中的最大值。
下面列举一种实施方式对上述根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，使归一化值均在0至1之间的过程进行说明，当然，还可以为其他的实施方式，此处不作为对本申请保护范围的限制。
假设有一组数据的非线性变换数值为1、2、3、4、5、6、7、8、9和10，其中，多个非线性变换数值中的最大值为10，多个非线性变换数值中的最小值为1，对于第一个数值1来说x归一化值=(x非线性变换数值-xmin)/(xmax-xmin)=(1-1)/(10-1)=0，以此类推，可以计算出这组数据所对应的归一化值即每个数据的非线性变换数值所对应的归一化值为0、0.1、0.2、0.333、0.429、0.5、0.571、0.625、0.667和0.714，使归一化值均在0至1之间，从而完成归一化处理步骤。
当然，还可以有其他实施方式实现使归一化值均在0至1之间的目的，下面对其他实施方式进行说明。
假设有一个数值m，其取值范围是[a，b]。我们需要归一化值均在0至1之间，计算公式如下：
归一化值=(m-a)/(b-a)。其中，m为原始数值，a是原始数值的最小值，b是原始数值的最大值。
当m=a时，(m-a)=0，(m-a)>0，所以归一化值=0/正数=0。
当m=b时，(m-a)=(b-a)，(b-a)>0，所以归一化值=(b-a)/(b-a)=1。
对于m在(a，b)内的任意值即m不等于a和b并在a与b之间，(m-a)和(b-a)都大于0，所以归一化值在0至1之间。
具体地，在完成归一化处理步骤后，需要对模型的数据进行更新以反映模型新的数据。
S107：对不同属性模型创建注册信息。其中，注册信息包括模型的类型、大小和运行时间。
具体地，模型的类型是指模型所属的类别或领域。例如，一个图像分类模型属于计算机视觉领域，而一个自然语言处理模型属于人工智能领域。通过了解模型的类型，管理系统可以更好地理解模型的需求，并为它提供相应的资源和支持。模型的大小是指模型所占用的存储空间。一个大型的深度学习模型可能需要大量的存储空间来存储权重和参数。因此，管理系统需要知道模型的大小，以便为它分配足够的存储空间。模型的运行时间是指模型完成一次推理所需的时间。不同的模型可能具有不同的运行时间要求。例如，一些实时应用需要模型在几毫秒内给出结果，而其他应用则可以接受更长的运行时间。通过了解模型的运行时间要求，管理系统可以为它分配合适的计算资源，以确保模型能够按时完成任务。除了以上基本信息外，模型还可以注册其他属性和配置信息，如模型的版本号、作者、描述等。这些信息可以帮助管理系统更好地管理和跟踪模型的状态和使用情况。
S108：根据注册信息为不同属性模型分配资源，并使其执行调度任务。
进一步地，在模型执行调度任务过程中，管理系统需要考虑到各种因素，如处理器的性能、系统的负载等。首先，处理器的性能是影响模型调度的关键因素之一。不同的处理器具有不同的性能指标，如处理速度和内存容量等。管理系统需要根据这些性能指标来选择合适的处理器，以便为模型提供足够的计算资源。此外，处理器之间的通信带宽也是一个重要的考虑因素，因为模型之间的数据交换可能会占用大量的带宽资源。因此，管理系统需要确保处理器之间的通信带宽足够支持模型的运行。
其次，系统的负载是另一个需要考虑的因素。系统的负载是指当前正在运行的模型对系统资源的占用情况。如果系统的负载过高，可能会导致模型运行缓慢，甚至出现资源争夺的情况。因此，管理系统需要实时监控系统的负载情况，并根据负载的变化来调整模型的调度策略。例如，当系统负载较低时，管理系统可以将一些优先级较低的模型分配给处理器，以充分利用系统资源；而当系统负载较高时，管理系统则需要优先保证优先级较高的模型的运行，以确保关键任务的顺利完成。
此外，模型的属性也是影响调度策略的一个重要因素。不同的模型可能具有不同的属性，如计算复杂度、数据依赖关系等。管理系统需要根据这些属性来选择合适的调度策略。例如，对于计算复杂度较高的模型，管理系统可以将其分配给性能较强的处理器，以确保其能够在短时间内完成计算；而对于数据依赖关系较复杂的模型，管理系统则需要确保其与其他相关模型在同一处理器上运行，以减少数据交换的时间和成本。
S109：对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能。
图3为本申请实施例提供的对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能的具体流程图，如图3所示，包括步骤S301至步骤S306。
S301：收集模型的运行数据。
具体地，通过对模型的输入、输出以及中间结果进行实时记录，可以了解模型在运行过程中的表现。这些数据可以进行分析模型的准确性、效率以及稳定性等方面的问题，从而为优化模型提供依据。
S302：检测模型是否出现异常情况。异常情况包括过拟合和欠拟合。
具体地，在模型运行过程中，可能会出现各种异常情况，如数据泄露、过拟合、欠拟合等。通过对模型的运行数据进行实时分析，可以及时发现这些异常情况，并采取相应的措施进行处理。
S303：当模型出现过拟合情况时，增加正则化项或减少特征数量降低模型复杂度。
S304：当模型出现欠拟合情况时，增加训练数据或调整模型结构提高模型性能。
S305：监控资源使用情况，确保模型在有限的资源下正常运行。
具体地，模型运行过程中会消耗大量的计算资源，如CPU（中文：中央处理器）、GPU（中文：图形处理器）和内存等。通过对这些资源的使用情况进行监控，可以确保模型在有限的资源下正常运行，避免因资源不足而导致的运行失败。此外，通过对资源使用情况的分析，可以找到优化资源分配的方法，从而提高模型运行效率。
S306：监控模型版本，确保在部署和使用模型时，始终使用的是最新或最优化的版本。
具体地，随着模型的不断迭代和优化，需要对不同版本的模型进行管理。通过监控模型的版本信息，可以确保在部署和使用模型时，始终使用的是最新、最优化的版本。同时，这也有助于追踪模型的历史变化，以便在出现问题时进行回溯和分析。
S110：提供统一的模型调度应用程序编程接口，简化创建、管理和调度模型的操作。
具体地，用户可以通过API接口（中文：应用程序编程接口）创建新的模型，用户可能需要指定模型的名称、输入数据的类型和格式和模型的架构等。API接口将负责将这些信息传递给底层的模型训练和部署系统，并返回一个唯一的模型标识符。
具体方式为：用户提供一些必要的参数和配置信息，包括模型的名称、输入数据的类型和格式和模型的架构等，在用户提供了这些信息后，API接口将负责将这些信息传递给底层的模型训练和部署系统。系统会根据用户提供的信息，自动选择合适的算法和框架，进行模型的训练和优化。同时，系统还会根据用户的请求，将训练好的模型部署到指定的环境，如云服务器、本地服务器等。在模型训练和部署完成后，API接口会返回一个唯一的模型标识符。这个标识符可以用来查询模型的状态，如是否已经训练完成、是否已经部署成功等。同时，用户也可以通过这个标识符，获取模型的预测结果，或者对模型进行更新和优化。
通过提供统一的模型调度API接口，用户可以专注于自己的业务需求，而无需深入了解底层的模型训练和部署细节。这大大简化了用户的工作流程，并提高了效率。同时，API接口还提供了一种标准化的方式来与不同的模型系统进行交互，使得用户可以在不同的平台和环境中使用相同的接口来创建、管理和调度模型。
本申请实施例还提供了一种分布式协同仿真架构实现装置400，如图4所示，该装置包括：判断模块401、执行归一化处理步骤模块402、创建模块403、分配模块404、优化模块405和提供接口模块406。
判断模块401用于根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理。
执行归一化处理步骤模块402用于对判断结果为需要进行归一化处理的数据执行归一化处理步骤。其中，归一化处理步骤包括：计算输入的数据的平均值和标准差。根据输入的数据的平均值和标准差计算每个数据的标准化值。使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值。根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，使归一化值均在0至1之间，从而完成归一化处理步骤。
创建模块403用于对不同属性模型创建注册信息。其中，注册信息包括模型的类型、大小和运行时间。
分配模块404用于根据注册信息为不同属性模型分配资源，并使其执行调度任务。
优化模块405用于对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能。
提供接口模块406用于提供统一的模型调度应用程序编程接口，简化创建、管理和调度模型的操作。
本申请所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述申请实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述方便，描述以上装置时以功能分为各种模块分别描述。在实施本申请实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然，也可以将实现某功能的模块由多个子模块或子单元组合实现。
本申请中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（英文：Application Specific Integrated Circuit，简称：ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
如图5所示，本申请实施例还提供了一种分布式协同仿真架构实现服务器，包括存储器501和处理器502；存储器501用于存储计算机可执行指令；处理器502用于执行计算机可执行指令，以实现本申请实施例以上所述的一种分布式协同仿真架构实现方法。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，移动终端，服务器，或者网络设备等）执行本申请实施例所述的方法。
本说明书中的各个实施方式采用递进的方式描述，各个实施方式之间相同或相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。
以上实施例仅用以说明本申请的技术方案，而非对本申请限制；尽管参照前述实施例对本申请进行了详细的说明，本领域普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请技术方案的范围。
Claims (9)
1.一种分布式协同仿真架构实现方法，其特征在于，包括：
根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理；
所述根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理，包括：
计算输入的数据的方差以及每个数据与方差之间的差值，在所计算的差值中选取最小差值，并对选取的最小差值与平均差值的比值进行计算；
判断所计算的比值是否小于预设阈值；
若比值小于预设阈值，进行归一化处理；
若比值大于预设阈值，不进行归一化处理；
对判断结果为需要进行归一化处理的数据执行归一化处理步骤；
其中，所述归一化处理步骤包括：
计算输入的数据的平均值和标准差；
根据输入的数据的平均值和标准差计算每个数据的标准化值；
使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值；
根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，使归一化值均在0至1之间，从而完成归一化处理步骤；
对不同属性模型创建注册信息；其中，注册信息包括模型的类型、大小和运行时间；
根据所述注册信息为不同属性模型分配资源，并使其执行调度任务；
对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能；
提供统一的模型调度应用程序编程接口，简化创建、管理和调度模型的操作。
2.根据权利要求1所述的分布式协同仿真架构实现方法，其特征在于，所述计算输入的数据的方差，计算公式如下：
；其中，/>为输入的数据的方差，/>为不同属性模型所输入的数据，/>为数据的平均值，n为数据的总个数；
；其中，/>为数据的平均值，n为数据的总个数，/>为不同属性模型所输入的数据；
所述对选取的最小差值与平均差值的比值进行计算，计算公式如下：
；其中，P为最小差值与平均差值的比值，/>为选取的最小差值，/>为平均差值。
3.根据权利要求2所述的分布式协同仿真架构实现方法，其特征在于，计算输入的数据的标准差，计算公式如下：
；其中，/>为数据的标准差，n为数据的总个数，/>为数据的平均值，/>为不同属性模型所输入的数据。
4.根据权利要求1所述的分布式协同仿真架构实现方法，其特征在于，所述根据输入的数据的平均值和标准差计算每个数据的标准化值，计算公式如下：
；其中，/>为每个数据的标准化值，/>为不同属性模型所输入的数据，/>为数据的平均值，/>为数据的标准差。
5.根据权利要求4所述的分布式协同仿真架构实现方法，其特征在于，所述使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值，包括：
使用对数函数将标准化值转换为以预设值为底的指数，从而获得第一数值；
将第一数值乘以10，获得0至10之间的第二数值；
将第二数值加上1，从而获得1至11之间的每个数据的非线性变换数值。
6.根据权利要求5所述的分布式协同仿真架构实现方法，其特征在于，所述根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，计算公式如下：
x归一化值=(x非线性变换数值-xmin)/(xmax-xmin)；其中，x归一化值为每个数据的非线性变换数值所对应的归一化值，x非线性变换数值为每个数据的非线性变换数值，xmin为非线性变换数值中的最小值，xmax为非线性变换数值中的最大值。
7.根据权利要求1所述的分布式协同仿真架构实现方法，其特征在于，所述对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能，包括：
收集模型的运行数据；
检测模型是否出现异常情况；所述异常情况包括过拟合和欠拟合；
当模型出现过拟合情况时，增加正则化项或减少特征数量降低模型复杂度；
当模型出现欠拟合情况时，增加训练数据或调整模型结构提高模型性能；
监控资源使用情况，确保模型在有限的资源下正常运行；
监控模型版本，确保在部署和使用模型时，始终使用的是最新或最优化的版本。
8.一种分布式协同仿真架构实现装置，其特征在于，包括：
判断模块，用于根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理；所述根据判断规则判断系统中不同属性模型所输入的数据是否需要进行归一化处理，包括：计算输入的数据的方差以及每个数据与方差之间的差值，在所计算的差值中选取最小差值，并对选取的最小差值与平均差值的比值进行计算；判断所计算的比值是否小于预设阈值；若比值小于预设阈值，进行归一化处理；若比值大于预设阈值，不进行归一化处理；
执行归一化处理步骤模块，用于对判断结果为需要进行归一化处理的数据执行归一化处理步骤；其中，所述归一化处理步骤包括：计算输入的数据的平均值和标准差；根据输入的数据的平均值和标准差计算每个数据的标准化值；使用对数函数对标准化值进行非线性变换，获得每个数据的非线性变换数值；根据每个数据的非线性变换数值以及多个非线性变换数值中的最大值和最小值计算每个数据的归一化值，使归一化值均在0至1之间，从而完成归一化处理步骤；
创建模块，用于对不同属性模型创建注册信息；其中，注册信息包括模型的类型、大小和运行时间；
分配模块，用于根据所述注册信息为不同属性模型分配资源，并使其执行调度任务；
优化模块，用于对模型的运行状态、资源使用情况和版本信息进行实时监测和调整，以确保模型正常运行并优化其性能；
提供接口模块，用于提供统一的模型调度应用程序编程接口，简化创建、管理和调度模型的操作。
9.一种分布式协同仿真架构实现服务器，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机可执行指令；
所述处理器用于执行所述计算机可执行指令，以实现权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410131444.2A CN117667361B (zh) | 2024-01-31 | 2024-01-31 | 一种分布式协同仿真架构实现方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410131444.2A CN117667361B (zh) | 2024-01-31 | 2024-01-31 | 一种分布式协同仿真架构实现方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117667361A CN117667361A (zh) | 2024-03-08 |
| CN117667361B true CN117667361B (zh) | 2024-04-26 |
Family
ID=90082868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410131444.2A Active CN117667361B (zh) | 2024-01-31 | 2024-01-31 | 一种分布式协同仿真架构实现方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117667361B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982197A (zh) * | 2012-10-30 | 2013-03-20 | 北京华力创通科技股份有限公司 | 一种多领域协同分布式仿真系统 |
| CN114996703A (zh) * | 2022-06-06 | 2022-09-02 | 南方电网科学研究院有限责任公司 | 一种电力系统网络安全靶场混合仿真方法、系统及设备 |
| CN115237000A (zh) * | 2022-06-23 | 2022-10-25 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种有无人机编队协同对抗仿真试验平台及试验方法 |
| CN115543626A (zh) * | 2022-10-14 | 2022-12-30 | 广东电网有限责任公司 | 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 |
| CN116227112A (zh) * | 2022-11-21 | 2023-06-06 | 中国空间技术研究院 | 面向遥感卫星星座体系协同的半物理仿真系统与仿真方法 |
| CN116562054A (zh) * | 2023-07-06 | 2023-08-08 | 西安羚控电子科技有限公司 | 一种多实体协同实时仿真系统的构建方法及装置 |
| CN116822135A (zh) * | 2023-04-20 | 2023-09-29 | 上海机电工程研究所 | 实时仿真平台系统及仿真系统构建方法 |
| CN117149410A (zh) * | 2023-08-09 | 2023-12-01 | 华能澜沧江水电股份有限公司 | 一种基于ai智能模型训练调度指挥监控系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2755605C (en) * | 2011-10-21 | 2019-08-13 | Ibm Canada Limited - Ibm Canada Limitee | Online simulation model optimization |
-
2024
- 2024-01-31 CN CN202410131444.2A patent/CN117667361B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102982197A (zh) * | 2012-10-30 | 2013-03-20 | 北京华力创通科技股份有限公司 | 一种多领域协同分布式仿真系统 |
| CN114996703A (zh) * | 2022-06-06 | 2022-09-02 | 南方电网科学研究院有限责任公司 | 一种电力系统网络安全靶场混合仿真方法、系统及设备 |
| CN115237000A (zh) * | 2022-06-23 | 2022-10-25 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种有无人机编队协同对抗仿真试验平台及试验方法 |
| CN115543626A (zh) * | 2022-10-14 | 2022-12-30 | 广东电网有限责任公司 | 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 |
| CN116227112A (zh) * | 2022-11-21 | 2023-06-06 | 中国空间技术研究院 | 面向遥感卫星星座体系协同的半物理仿真系统与仿真方法 |
| CN116822135A (zh) * | 2023-04-20 | 2023-09-29 | 上海机电工程研究所 | 实时仿真平台系统及仿真系统构建方法 |
| CN116562054A (zh) * | 2023-07-06 | 2023-08-08 | 西安羚控电子科技有限公司 | 一种多实体协同实时仿真系统的构建方法及装置 |
| CN117149410A (zh) * | 2023-08-09 | 2023-12-01 | 华能澜沧江水电股份有限公司 | 一种基于ai智能模型训练调度指挥监控系统 |
Non-Patent Citations (3)
| Title |
|---|
| Normalization-Based Task Scheduling Algorithms for Heterogeneous Multi-Cloud Environment;Panda, Sanjaya K等;《INFORMATION SYSTEMS FRONTIERS》;20180504;第20卷;全文 * |
| 基于作战任务优先级的容器云弹性伸缩系统;尚小东;张煜;郭成昊;;指挥信息系统与技术;20200628(第03期);全文 * |
| 广义电池储能系统协同调控关键技术研究;樊飞龙;《中国优秀博士学位论文全文数据库（工程科技II辑）》;20230115(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117667361A (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109324875B (zh) | 一种基于强化学习的数据中心服务器功耗管理与优化方法 | |
| KR102257028B1 (ko) | 컴퓨팅 플랫폼 기반의 적응형 딥러닝 작업 할당 장치 및 방법 | |
| CN110290021B (zh) | 基于动态规划算法的跨链共识时延优化方法 | |
| CN114862656A (zh) | 基于多gpu的分布式深度学习模型训练代价的获取方法 | |
| CN112685153A (zh) | 微服务调度方法、装置以及电子设备 | |
| CN113094246B (zh) | 一种边缘异构计算环境仿真系统 | |
| CN113157413A (zh) | 基于服务质量需求的深度学习任务资源优化配置方法及系统 | |
| CN115080248B (zh) | 调度装置的调度优化方法、调度装置和存储介质 | |
| US20210096915A1 (en) | Resource optimization for serverless query processing | |
| KR102607808B1 (ko) | 분산 이종 컴퓨터 시스템에서의 최적화된 잡 성능을 위한 동적 자원 재할당 | |
| CN111768096A (zh) | 基于算法模型的评级方法、装置、电子设备及存储介质 | |
| CN103377082A (zh) | 对离散事件仿真进行调度的方法和装置 | |
| Vansyckel et al. | Configuration management for proactive adaptation in pervasive environments | |
| CN114911492B (zh) | 推理服务部署方法、装置、设备以及存储介质 | |
| CN115543626A (zh) | 采用异构计算资源负载均衡调度的电力缺陷图像仿真方法 | |
| US20130061214A1 (en) | Programmable intelligent storage architecture based on application and business requirements | |
| CN117667361B (zh) | 一种分布式协同仿真架构实现方法及装置 | |
| CN113010296A (zh) | 基于形式化模型的任务解析与资源分配方法及系统 | |
| CN115412401B (zh) | 训练虚拟网络嵌入模型及虚拟网络嵌入的方法和装置 | |
| CN116360921A (zh) | 一种面向电力物联网的云平台资源优化调度方法及系统 | |
| US20090083020A1 (en) | Alternate task processing time modeling | |
| US11556685B1 (en) | Time-based power analysis | |
| Ganguly et al. | An environment aware learning-based self-adaptation technique with reusable components | |
| CN116500896B (zh) | 智能网联汽车域控制器多虚拟cpu任务智能实时调度模型和方法 | |
| CN117827619B (zh) | 异构算力的耗时预测仿真方法、装置、设备、介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |