CN118153245A - 一种分布式计算燃气管道模拟仿真方法、设备和介质 - Google Patents

一种分布式计算燃气管道模拟仿真方法、设备和介质 Download PDF

Info

Publication number
CN118153245A
CN118153245A CN202410578278.0A CN202410578278A CN118153245A CN 118153245 A CN118153245 A CN 118153245A CN 202410578278 A CN202410578278 A CN 202410578278A CN 118153245 A CN118153245 A CN 118153245A
Authority
CN
China
Prior art keywords
data
simulation
gas pipeline
subtasks
computing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410578278.0A
Other languages
English (en)
Other versions
CN118153245B (zh
Inventor
唐毅
孔冰
单高翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jincheng Imagery Software Co ltd
Original Assignee
Chengdu Jincheng Imagery Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jincheng Imagery Software Co ltd filed Critical Chengdu Jincheng Imagery Software Co ltd
Priority to CN202410578278.0A priority Critical patent/CN118153245B/zh
Publication of CN118153245A publication Critical patent/CN118153245A/zh
Application granted granted Critical
Publication of CN118153245B publication Critical patent/CN118153245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/14—Pipes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种分布式计算燃气管道模拟仿真方法、设备和介质，采集燃气管道运行数据，对数据进行预处理；根据目标数据格式对预处理后的数据进行数据映射，得到预定格式的数据，以减小后续计算难度，将映射后的数据上传到模拟服务器中；模拟服务器根据任务需求对上传的数据进行解析，划分仿真计算节点和子任务；引入分布式计算架构，根据子任务的优先级，对仿真计算节点和子任务进行任务匹配并执行，使得任务能够更合理、均衡地分配给计算节点，最大化资源利用率，提高整体性能，通过将计算任务分布到多台计算机上进行协同处理，能够提高系统的整体效率和可扩展性，使其更适用于大规模的燃气管道模拟任务。

Description

一种分布式计算燃气管道模拟仿真方法、设备和介质
技术领域
本发明涉及数据仿真技术领域，具体涉及一种分布式计算燃气管道模拟仿真方法、设备和介质。
背景技术
在燃气管道模拟仿真领域，目前广泛采用的技术基于集中式计算架构。这一技术框架下，燃气管道模拟系统通常由一个中央服务器负责执行模拟任务，而客户端通过上传数据至服务器并下载模拟结果来完成与系统的交互。
现有的技术方案中，一种是用户通过客户端将需要模拟的数据上传至中央服务器，服务器执行相应的计算任务，最终将模拟结果返回给用户。这种架构的优点是简单易行，用户通过客户端即可实现对管道模拟的操作。另一种是系统在处理大规模任务时可能会面临性能瓶颈，尤其是在数据量庞大、计算任务复杂的情况。
综上，现有技术的缺点在于：集中式计算容易导致系统性能瓶颈，尤其在处理大规模数据和计算复杂性较高的任务时表现不佳；资源利用不足：未能有效地充分利用分布在不同地点的计算资源，造成整体效率低下。
发明内容
本发明所要解决的技术问题是克服计算任务复杂时，整体效率低下，资源利用率低，目的在于提供一种分布式计算燃气管道模拟仿真方法、设备和介质，通过对数据进行预处理，得到预定格式的数据，以减小后续计算难度，根据任务需求对上传的数据进行解析，划分仿真计算节点和子任务划分，引入分布式计算架构，根据子任务的优先级，对仿真计算节点和子任务进行任务匹配并执行，使得任务能够更合理、均衡地分配给计算节点，最大化资源利用率，提高整体性能，通过将计算任务分布到多台计算机上进行协同处理，能够提高系统的整体效率和可扩展性。
本发明通过下述技术方案实现：
本发明第一方面提供一种分布式计算燃气管道模拟仿真方法，包括以下具体步骤：
采集燃气管道运行数据，对数据进行预处理；
根据目标数据格式对预处理后的数据进行数据映射，将映射后的数据上传到模拟服务器中；
模拟服务器根据任务需求对上传的数据进行解析，划分仿真计算节点和子任务；
获取子任务的优先级，对仿真计算节点和子任务进行任务匹配并执行仿真子任务，输出模拟结果。
本发明通过对数据进行预处理，得到预定格式的数据，以减小后续计算难度，根据任务需求对上传的数据进行解析，划分仿真计算节点和子任务划分，引入分布式计算架构，根据子任务的优先级，对仿真计算节点和子任务进行任务匹配并执行，使得任务能够更合理、均衡地分配给计算节点，最大化资源利用率，提高整体性能，通过将计算任务分布到多台计算机上进行协同处理，能够提高系统的整体效率和可扩展性，使其更适用于大规模的燃气管道模拟任务。
进一步的，所述对数据进行预处理，具体包括：
对数据进行异常值检测，对异常值进行修复处理；
对修复后的数据进行格式标准化，基于格式标准化下的数据进行缺失值处理，将包含缺失值的数据进行删除；
对数据进行一致性检查，提取数据值和数据量一致的数据。
进一步的，所述对预处理后的数据进行数据映射，具体包括：
获取模拟服务器的定义字段，将将数据映射到对应字段中；
对映射后的数据进行时间戳处理，输出需要的数据类型；
对输出的数据类型进行格式校验，输出校验合格的数据。
进一步的，所述将映射后的数据上传到模拟服务器中，具体包括：
对校验合格的数据进行数据量检测，当上传的数据量超过单次上传阈值时，对数据进行分批上传；
建立数据索引进行数据查询，对上传后的数据进行完整性和一致性验证；
生成数据上传日志。
进一步的，所述划分仿真计算节点和子任务，具体包括：
获取任务需求，根据调度智能任务算法构建仿真计算节点，并对子任务划分。
进一步的，所述对仿真计算节点和子任务进行任务匹配并执行仿真子任务，具体包括：
获取子任务的优先级，根据子任务优先级进行仿真计算节点匹配；
根据仿真计算节点匹配的子任务，确定仿真计算节点的计算顺序；
仿真计算节点根据计算顺序进行并行计算，得到仿真结果。
进一步的，在仿真计算节点进行仿真的过程中，仿真计算节点周期性更新仿真状态，并向其他仿真计算节点共享仿真结果。
进一步的，所述输出模拟结果，具体包括：
根据子任务优先级确定各仿真计算节点的时序关系，根据时序关系对仿真结果进行整合，得到全局仿真数据；
对全局仿真数据进行时间戳校准，输出时间戳校准正确的数据作为模拟结果。
本发明第二方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现一种分布式计算燃气管道模拟仿真方法。
本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种分布式计算燃气管道模拟仿真方法。
本发明与现有技术相比，具有如下的优点和有益效果：
通过对数据进行预处理，得到预定格式的数据，以减小后续计算难度，根据任务需求对上传的数据进行解析，划分仿真计算节点和子任务划分，引入分布式计算架构，根据子任务的优先级，对仿真计算节点和子任务进行任务匹配并执行，使得任务能够更合理、均衡地分配给计算节点，最大化资源利用率，提高整体性能，通过将计算任务分布到多台计算机上进行协同处理，能够提高系统的整体效率和可扩展性，使其更适用于大规模的燃气管道模拟任务；
采用压缩算法和分布式文件系统，有效降低数据传输量，减小通信开销，提高数据传输效率，根据任务特性选择最优传输方式，避免不必要的网络延迟，保障数据及时可用性。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
图1为本发明实施例中的仿真流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
作为一种可能的实施方式，如图1所示，本实施例第一方面提供一种分布式计算燃气管道模拟仿真方法，采集燃气管道运行数据，对数据进行预处理；根据目标数据格式对预处理后的数据进行数据映射，得到预定格式的数据，以减小后续计算难度，将映射后的数据上传到模拟服务器中；模拟服务器根据任务需求对上传的数据进行解析，划分仿真计算节点和子任务；引入分布式计算架构，根据子任务的优先级，对仿真计算节点和子任务进行任务匹配并执行，使得任务能够更合理、均衡地分配给计算节点，最大化资源利用率，提高整体性能，通过将计算任务分布到多台计算机上进行协同处理，能够提高系统的整体效率和可扩展性，使其更适用于大规模的燃气管道模拟任务。
在一些可能的实施方式中，具体的仿真流程包括：
1燃气管道运行数据采集
数据源接入：燃气公司SCADA系统通过传感器和设备获取实时燃气管道运行数据；
数据采集：分布式燃气管道仿真模拟系统燃气公司客户端SCADA系统定期采集各传感器的数据，包括压力、流量、温度等参数；
实时传输：采用实时通信协议如MQTT及XMPP，确保低延迟、高效率、可靠性高的数据传输，燃气公司客户端将采集到的数据传输到数据服务器。
2数据预处理及数据上传
2.1数据预处理
2.1.1异常值检测
在数据传输过程中，可能会受到各种干扰或设备故障导致的异常值。为确保后续模拟的准确性，数据清洗阶段需要执行以下任务：
异常值识别：使用统计方法或机器学习算法检测数据中的异常值。异常数据检测涉及到识别与正常数据模式不相符的数据点，可以用均值和标准差法，根据均值和标准差的正常范围识别范围外的异常点；用K均值聚类或者DBSCAN等方法将数据进行无监督学习分簇，异常数据点通常自成一簇；利用深度学习将数据降低维度，异常点再重构误差较大的情况下被检测出来，对检测到的异常值进行修复、删除或标记处理，以防止对后续计算产生不良影响。
2.1.2.数据格式统一
SCADA系统从不同传感器和设备获取的数据可能具有不同的格式和单位，需要在数据清洗中进行标准化，以确保后续的数据处理流程能够顺利执行；
单位统一：将所有数据转换为相同的单位，例如将温度统一为摄氏度或华氏度；
格式标准化：确保数据的时间戳格式、小数位数等各方面达到标准，以便后续的处理和存储。以下是一些常见的数据格式标准化的方面：
时间戳格式：时间戳表示时间的方式，可以包括日期和时间信息。常见的时间戳格式包括：ISO8601格式：例如，YYYY-MM-DDTHH:mm:ss。Unix时间戳：表示自1970年1月1日以来的秒数。选择一种标准时间戳格式，确保所有数据的时间信息以相同的格式呈现；
小数位数：如果数据中包含小数，统一小数的位数。例如，将所有浮点数保留到固定的小数位数，如两位或三位；
数字格式：统一整数的表示方式，例如使用逗号分隔的千位数表示法，或者保持整数不加任何分隔符；
文本编码：确保文本数据使用相同的字符编码，如UTF-8，以防止出现乱码或格式不一致的情况；
缺失值表示：统一缺失值的表示方式，可以使用特定的标记（例如NaN）、空值或者其他一致的方式表示缺失数据；
单位标准化：如果涉及到物理量，确保使用相同的单位。例如，长度可以统一使用米，温度可以统一使用摄氏度或华氏度；
布尔值表示：如果数据中包含布尔值，统一布尔值的表示方式，例如使用True和False，而不是1和0或其他形式；
标签或类别的一致性：如果数据包含类别标签，确保使用一致的命名和表示方式，避免大小写、拼写或其他方面的差异。
2.1.3缺失值处理
在实际情况中，传感器可能因为故障或其他原因未能提供完整的数据。数据清洗的任务之一是处理缺失值：
插值填充：使用插值方法，如线性插值或多项式插值，填充缺失值；
丢弃处理：如果缺失值对后续计算影响较大，可以选择删除包含缺失值的数据。即如果缺失值无法通过插值进行填充，并且对后续计算、分析或者建模任务产生不可接受的影响，导致结果的不准确或失真，这种情况下可以对包含缺失值的数据进行删除。
2.1.4数据一致性检查
采集到的数据经客户端上传至服务器后，需要确保接收到的数据与客户端采集到的数据具有一致性，具体表现为数据值和数据量一致，避免在后续计算中出现错误结果。
2.1.5数据质量报告
在数据清洗的最后阶段，生成数据质量报告，其中包括清洗前后的数据统计信息、异常值数量、缺失值处理情况等。这有助于跟踪数据质量的改善和评估清洗过程的效果。以下是一些可能包含的具体数据或内容：
数据清洗前后的数据统计信息：数据集的总行数和总列数；每列的数据类型；各列的统计指标，如平均值、中位数、最小值、最大值等；数据集的描述性统计信息；
异常值数量：异常值的数量统计，可以按列或整体统计；异常值的定义和识别方法。
缺失值处理情况：缺失值的数量统计，包括每列的缺失值数量；缺失值的处理方法，如删除、插值等；处理缺失值后的数据集的完整性；
数据格式标准化：确保数据的时间戳格式、小数位数等各方面达到标准；数据格式标准化的方法和步骤；
去重处理：重复值的数量统计；重复值的处理方法，如删除或保留一个等；处理重复值后的数据集状态；
数据排序：数据按照时间戳或其他关键列的排序情况；排序是否满足预期要求。
其他清洗操作：其他清洗操作的执行情况，如字符串处理、格式转换等；清洗过程中采取的具体措施和方法；
可视化和图表：可视化展示清洗前后的数据分布、趋势等；图表用于呈现异常值、缺失值等的分布情况。
2.2.2数据映射
将清洗后的数据映射到标准格式中：
字段映射：将SCADA系统中的各字段映射到模拟系统定义的相应字段。相应字段指的是在模拟系统中定义的与SCADA系统中相对应的字段。在数据映射过程中，需要确保从SCADA系统中提取的数据能够被正确地映射到模拟系统中的相应字段上，以确保数据的一致性和准确性；
单位转换：确保数据字段的单位与模拟系统的要求一致，进行必要的单位转换。
2.2.3时间戳处理
模拟系统可能对时间戳的格式有特定的要求。在格式转换阶段，需要进行适当的时间戳处理，按照仿真系统的要求将数据时间戳转换成ISO或者Unix格式：
时区转换：如果SCADA系统和模拟系统处于不同的时区，进行时区转换以确保时间的一致性；
时间格式化：将时间戳格式化为模拟系统要求的标准格式（ISO或Unix格式）。
2.2.4数据类型转换
确保所有数据字段的数据类型与模拟系统的要求相匹配。这可能包括将数据转换为整数、浮点数或其他特定的数据类型。
2.2.5格式校验
在转换后，进行格式校验以确保转换的数据符合标准格式的要求。这包括字段是否完整、数据是否符合逻辑等方面的检查。
2.2.6异常处理
处理在格式转换过程中可能出现的异常情况，例如数据丢失、无法映射的字段等。制定适当的异常处理策略，确保系统的稳定性和数据的完整性。
2.2.7数据格式标准化
最终，将转换后的数据进行最终的标准化处理，以确保整体数据的一致性和规范性
2.3数据上传
2.3.1选择云端数据库
首先，选择适合存储和处理燃气管道模拟数据的云端数据库。选择数据库时需考虑性能、可扩展性和安全性等因素。
2.3.2建立连接
确保数据服务器与选定的云端数据库建立安全、稳定的连接。使用加密通信协议和合适的认证机制，以保护数据在传输过程中的安全性。
2.3.3数据上传
进行数据上传时，执行以下操作：
数据分批：如果数据量较大，考虑将数据分批上传，以避免网络传输中的性能问题。判断数据量是否较大通常涉及到具体的系统性能和网络传输能力。以下是一些常见的考虑因素：
系统内存和存储容量：如果数据量超过系统内存或存储容量的限制，可能会导致性能下降或系统崩溃。因此，可以通过监测系统的内存和存储使用情况来判断数据量是否较大；
网络带宽：数据传输的速度受到网络带宽的限制。如果数据量太大，可能会导致网络拥塞和传输延迟。可以通过评估网络带宽来判断是否需要将数据分批上传；
上传速度：如果上传速度较慢，可能会影响系统的实时性。通过监测数据上传的速度，可以判断是否需要分批上传数据；
系统响应时间：数据上传可能会影响系统的响应时间。如果上传大量数据导致系统响应变慢，可以考虑分批上传以维持系统的相对高效性；
数据库性能：如果上传的数据要存储在数据库中，数据库的性能也是一个关键因素。大量数据的批量插入可能影响数据库的性能，因此可以根据数据库的性能指标来判断是否需要分批上传；
事务管理：使用事务管理机制，确保数据上传的原子性，即要么所有数据上传成功，要么整个上传操作失败。
2.3.4数据校验
在上传完成后，进行数据校验以确保上传的数据在云端数据库中的完整性和一致性。可以使用校验和哈希等机制来验证数据的正确性。
2.3.5数据索引
根据模拟系统的查询需求，在云端数据库中建立适当的索引，以提高数据检索的效率。索引的建立应考虑到模拟系统常用的查询条件。
2.3.6安全策略
实施适当的安全策略，包括访问控制、加密、备份等措施，以确保上传的数据在云端数据库中的安全性和可用性。
2.3.7日志记录
记录数据上传的日志，包括上传时间、上传者、上传数据量等信息。这有助于跟踪数据上传的历史记录和进行故障排查。
2.3.8异常处理
制定异常处理策略，处理可能在数据上传过程中出现的异常情况，如网络中断、数据库不可用等。
3模拟服务器进行仿真
3.1任务分配
3.1.1任务接收
模拟服务器首先接收到来自客户端的仿真任务请求。任务请求中包含了任务的具体参数，如仿真时间范围、管道网络结构、仿真精度等信息。
3.1.2任务解析
对接收到的任务请求进行解析，提取任务所需的关键信息。这包括确定仿真的时间范围、识别需要仿真的管道网络结构、确认仿真的精度等。
3.1.3智能任务调度算法
使用智能任务调度算法来划分任务。这种算法可以根据系统负载、计算节点的性能、任务的紧急程度等因素，动态地将仿真任务分配给可用的计算节点。一些常见的任务调度算法包括最短作业优先（ShortestJobNext,SJN）、最先到达优先（FirstComeFirstServe,FCFS）等，根据具体情况选择合适的算法。
3.1.4子任务划分
根据任务调度算法的结果，将整个仿真任务划分为多个子任务。子任务的划分应考虑到各个计算节点的负载均衡，以确保每个节点都能够尽可能平均地处理任务。
3.1.5任务优先级
根据任务的紧急程度或其他指定的优先级标准，为每个子任务分配相应的优先级。这有助于系统在有限资源下更好地处理紧急任务。
3.1.6任务分配通知
将分配好的子任务信息通知到相应的计算节点。通知中应包含子任务的具体参数、计算节点的标识等信息，以便节点能够正确地执行任务。
3.1.7负载监控
在任务执行过程中，持续监控各计算节点的负载情况。如果某个节点的负载过高或发生故障，系统能够及时进行调整，重新分配任务，确保系统的稳定性和高效性。
3.1.8异常处理
制定异常处理策略，处理可能在任务分配过程中出现的异常情况，如计算节点失效、任务分配失败等。
3.2分布式计算
3.2.1子任务分发
一旦模拟服务器完成任务分配，各计算节点接收到相应的子任务信息后，开始并行执行各自的子任务。子任务的分发可以通过网络通信实现，确保每个计算节点能够获取到自己需要执行的任务。
3.2.2并行执行
各计算节点独立执行自己的子任务，通过并行计算的方式加速整个仿真过程。并行执行可以基于硬件的多核处理器，也可以利用集群中多台计算机的协同工作。
3.2.3数据通信
在子任务的执行过程中，可能需要进行数据通信以获取其他节点的计算结果或共享必要的信息。有效的数据通信机制是分布式计算中的关键，它包括节点间的消息传递、数据同步等操作。
3.2.4状态同步
为确保各计算节点之间的仿真结果是一致的，需要进行状态同步。状态同步可以通过周期性的通信和数据交换来实现，以防止由于计算节点间的时间差异或其他原因导致的仿真不一致问题。
3.2.5异常处理
在分布式计算中，可能会发生计算节点失效、通信中断等异常情况。系统需要具备相应的异常处理机制，能够检测并适时处理这些异常，以保障整个仿真系统的稳定性。
3.2.6负载均衡
在分布式计算中，各计算节点的负载可能会不均衡，导致一些节点的计算速度较慢，影响整体性能。负载均衡算法可以在运行时动态地调整任务的分配，使各计算节点的负载尽可能均衡。
3.2.7计算结果整合
各计算节点完成子任务后，计算服务器需要将各节点的计算结果进行整合。这可能涉及到数据合并、结果汇总等操作，以生成完整的管道模拟结果。
3.2.8结果返回
最终，整合后的模拟结果返回给模拟服务器，用于存储在云端数据库中，以供客户端进行可视化呈现和结果下载。
3.3数据处理
3.3.1数据整合
模拟服务器收到各计算节点返回的仿真结果数据后，需要进行数据整合。这包括将各节点计算得到的部分结果按照时间顺序或空间关系进行整合，以获得全局的管道运行情况。
3.3.2数据合并
在分布式计算过程中，各计算节点可能对不同的管道部分或时间段进行仿真，因此，需要将这些部分结果进行合并。数据合并的过程涉及到数据的对齐和匹配，确保各节点计算的数据能够无缝地连接起来。
3.3.3状态同步
在数据整合的过程中，还需要进行状态同步，确保各节点仿真的状态是一致的。这可能涉及到对节点之间的数据进行时间戳的校准，以保证整个仿真系统的结果是在同一时间点计算得到的。
3.3.4数据处理算法
根据具体的仿真需求，可能需要应用一些数据处理算法来优化结果。例如，平滑处理可能用于去除数据中的噪声，统计分析可能用于提取关键指标，以确保生成的模拟结果具有可解释性和实用性。
3.3.5结果存储
整合和处理后的数据被存储在数据库中，以便客户端能够随时获取最新的管道模拟结果。结果存储也需要考虑数据的安全性、长期保存性和易于访问性。
3.3.6数据安全
在数据处理阶段，实施数据安全策略是至关重要的。包括对数据进行加密、备份、权限控制等措施，以确保模拟结果的完整性和机密性。
3.3.7异常处理
在数据处理过程中，可能会遇到各种异常情况，例如数据缺失、不一致性等。系统需要具备相应的异常处理机制，以确保生成的管道模拟结果是准确可靠的。
4模拟结果上传到云端数据库
结果存储：将模拟得到的结果存储在云端数据库中，确保数据的长期保存和易于访问。
数据安全：实施数据安全策略，包括备份、加密等手段，保障模拟结果的完整性和机密性。
5客户端可视化与结果下载
数据获取：客户端通过云端数据库获取最新的管道模拟结果。
可视化呈现：利用数据可视化技术将模拟结果呈现在客户端界面上，以直观的方式展示管道的运行状态。
结果下载：客户端有权下载模拟结果文件，以便进一步分析和决策。
6公司内部管道建模
专业建模：公司内部负责对新用户进行燃气管道建模，根据实际情况制定相应的仿真方案。
上传至服务器：新建模的管道数据由公司内部上传至仿真软件服务器，加入到仿真任务队列中等待处理。
通过以上步骤，实现了从实时数据采集到模拟结果呈现的端到端分布式燃气管道仿真模拟流程。每个步骤都充分利用了分布式计算的优势，保证了系统的高效性和可扩展性。
在一些可能的实施例中，提供一个中小型城市燃气公司的仿真流程；
公司规模：中小型城市燃气公司，服务范围涵盖城市及周边地区；
运营特点：提供燃气供应服务，面对日益增长的用户量和管道网络；
1.分布式计算架构
主节点：部署在公司总部，负责整体任务调度和数据管理。计算节点：部署在不同城市的运营中心，根据地理位置分布，用于并行计算各地区管道仿真任务。
2.数据处理模块
数据服务器：设立在公司总部，负责接收和预处理各地运营中心传来的实时数据；
2.1.实时数据处理流程
a.数据采集：各城市运营中心的SCADA系统通过传感器采集实时管道数据；
b.数据上传：运营中心的数据服务器将实时数据上传至公司总部的数据服务器；
c.数据格式转换：公司总部的数据服务器进行格式转换，确保数据一致性和符合仿真需求；
2.2.模拟任务调度与执行
a.用户需求反馈：公司总部通过与各运营中心沟通，了解用户需求和特殊要求；
b.任务调度：主节点根据各地区的仿真任务需求和计算节点负载情况进行任务调度；
c.分布式计算：计算节点并行执行仿真任务，模拟各地燃气管道的运行情况；
3.结果呈现与下载
a.结果获取：客户端通过云端数据库获取最新的管道仿真结果；
b.可视化呈现：结果以可视化方式展示在客户端界面上，提供直观的管道运行状态；
c.结果下载：客户端有权下载仿真结果文件，以支持本地分析和决策；
3.1.用户需求沟通
用户反馈：公司内部与用户进行面对面沟通，了解用户的具体需求和特殊要求；
3.2.专业建模
a.内部专业团队：公司内部专业团队负责根据用户需求进行燃气管道建模；
b.建模结果上传：建模完成后，结果上传至公司总部的仿真软件服务器；
3.仿真任务处理
a.任务加入队列：新建模任务被加入任务队列，等待主节点进行任务分配；
b.分布式计算：主节点将任务分配至各计算节点，执行仿真任务；
c.结果存储：仿真结果存储于云端数据库，供用户随时访问；
通过上述实施例，中小型城市燃气公司充分利用分布式计算系统，实现了实时数据处理、模拟任务调度与执行、结果呈现与下载，以及公司内部建模等流程，提高了管道运行管理的效率和精确性，满足了中小型城市燃气公司对于管道网络仿真的需求。
本实施例第二方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现一种分布式计算燃气管道模拟仿真方法。
本实施例第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种分布式计算燃气管道模拟仿真方法。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种分布式计算燃气管道模拟仿真方法，其特征在于，包括以下具体步骤：
采集燃气管道运行数据，对数据进行预处理；
根据目标数据格式对预处理后的数据进行数据映射，将映射后的数据上传到模拟服务器中；
模拟服务器根据任务需求对上传的数据进行解析，划分仿真计算节点和子任务；
获取子任务的优先级，对仿真计算节点和子任务进行任务匹配并执行仿真子任务，输出模拟结果。
2.根据权利要求1所述的分布式计算燃气管道模拟仿真方法，其特征在于，所述对数据进行预处理，具体包括：
对数据进行异常值检测，对异常值进行修复处理；
对修复后的数据进行格式标准化，基于格式标准化下的数据进行缺失值处理，将包含缺失值的数据进行删除；
对数据进行一致性检查，提取数据值和数据量一致的数据。
3.根据权利要求1所述的分布式计算燃气管道模拟仿真方法，其特征在于，所述对预处理后的数据进行数据映射，具体包括：
获取模拟服务器的定义字段，将将数据映射到对应字段中；
对映射后的数据进行时间戳处理，输出需要的数据类型；
对输出的数据类型进行格式校验，输出校验合格的数据。
4.根据权利要求3所述的分布式计算燃气管道模拟仿真方法，其特征在于，所述将映射后的数据上传到模拟服务器中，具体包括：
对校验合格的数据进行数据量检测，当上传的数据量超过单次上传阈值时，对数据进行分批上传；
建立数据索引进行数据查询，对上传后的数据进行完整性和一致性验证；
生成数据上传日志。
5.根据权利要求1所述的分布式计算燃气管道模拟仿真方法，其特征在于，所述划分仿真计算节点和子任务，具体包括：
获取任务需求，根据调度智能任务算法构建仿真计算节点，并对子任务划分。
6.根据权利要求1所述的分布式计算燃气管道模拟仿真方法，其特征在于，所述对仿真计算节点和子任务进行任务匹配并执行仿真子任务，具体包括：
获取子任务的优先级，根据子任务优先级进行仿真计算节点匹配；
根据仿真计算节点匹配的子任务，确定仿真计算节点的计算顺序；
仿真计算节点根据计算顺序进行并行计算，得到仿真结果。
7.根据权利要求1所述的分布式计算燃气管道模拟仿真方法，其特征在于，在仿真计算节点进行仿真的过程中，仿真计算节点周期性更新仿真状态，并向其他仿真计算节点共享仿真结果。
8.根据权利要求1所述的分布式计算燃气管道模拟仿真方法，其特征在于，所述输出模拟结果，具体包括：
根据子任务优先级确定各仿真计算节点的时序关系，根据时序关系对仿真结果进行整合，得到全局仿真数据；
对全局仿真数据进行时间戳校准，输出时间戳校准正确的数据作为模拟结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述的分布式计算燃气管道模拟仿真方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8任一项所述的分布式计算燃气管道模拟仿真方法。
CN202410578278.0A 2024-05-11 2024-05-11 一种分布式计算燃气管道模拟仿真方法、设备和介质 Active CN118153245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410578278.0A CN118153245B (zh) 2024-05-11 2024-05-11 一种分布式计算燃气管道模拟仿真方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410578278.0A CN118153245B (zh) 2024-05-11 2024-05-11 一种分布式计算燃气管道模拟仿真方法、设备和介质

Publications (2)

Publication Number Publication Date
CN118153245A true CN118153245A (zh) 2024-06-07
CN118153245B CN118153245B (zh) 2024-07-26

Family

ID=91301639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410578278.0A Active CN118153245B (zh) 2024-05-11 2024-05-11 一种分布式计算燃气管道模拟仿真方法、设备和介质

Country Status (1)

Country Link
CN (1) CN118153245B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209074A (zh) * 2011-05-30 2011-10-05 中国电力科学研究院 一种电力系统全数字动态仿真系统
US20180247001A1 (en) * 2015-09-06 2018-08-30 China Electric Power Research Institute Company Limited Digital simulation system of power distribution network
CN116560811A (zh) * 2023-04-25 2023-08-08 广州趣研网络科技有限公司 一种应用于调度系统的仿真系统和方法
CN117193987A (zh) * 2023-10-13 2023-12-08 英联（厦门）金融技术服务股份有限公司 一种互为中立的独立分布式计算与节点管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209074A (zh) * 2011-05-30 2011-10-05 中国电力科学研究院 一种电力系统全数字动态仿真系统
US20180247001A1 (en) * 2015-09-06 2018-08-30 China Electric Power Research Institute Company Limited Digital simulation system of power distribution network
CN116560811A (zh) * 2023-04-25 2023-08-08 广州趣研网络科技有限公司 一种应用于调度系统的仿真系统和方法
CN117193987A (zh) * 2023-10-13 2023-12-08 英联（厦门）金融技术服务股份有限公司 一种互为中立的独立分布式计算与节点管理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王鹏: "复杂天然气管网快速准确稳健仿真方法研究及应用", 中国博士学位论文全文数据库工程科技Ⅰ辑, no. 2, 15 February 2018 (2018-02-15), pages 019 - 52 *

Also Published As

Publication number Publication date
CN118153245B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
CN112650762B (zh) 数据质量监控的方法、装置、电子设备以及存储介质
US9990385B2 (en) Method and system for collecting and analyzing time-series data
US10116534B2 (en) Systems and methods for WebSphere MQ performance metrics analysis
US8601112B1 (en) Method and system for collecting and analyzing time-series data
CN112035404B (zh) 医疗数据监控与预警方法、装置、设备及存储介质
US7979439B1 (en) Method and system for collecting and analyzing time-series data
US7356590B2 (en) Distributed capture and aggregation of dynamic application usage information
US10680902B2 (en) Virtual agents for facilitation of network based storage reporting
CN112039701B (zh) 接口调用监控方法、装置、设备及存储介质
CN107239675A (zh) 基于云平台的生物信息分析系统
CN111383748A (zh) 基于弹性计算和5g技术的医疗集成平台系统
CN112395177A (zh) 业务数据的交互处理方法、装置、设备及存储介质
US10372572B1 (en) Prediction model testing framework
CN110532322A (zh) 运维交互方法、系统、计算机可读存储介质及设备
CN117971799B (zh) 一种数据开发平台和数据开发方法
CN113760677A (zh) 异常链路分析方法、装置、设备及存储介质
JP2015194797A (ja) 監視漏れ特定処理プログラム，監視漏れ特定処理方法及び監視漏れ特定処理装置
US11620164B1 (en) Virtual partitioning of a shared message bus
CN118153245B (zh) 一种分布式计算燃气管道模拟仿真方法、设备和介质
US11169905B2 (en) Testing an online system for service oriented architecture (SOA) services
CN112860763B (zh) 实时流数据处理方法、装置、计算机设备和存储介质
CN112749197B (zh) 数据分片刷新方法、装置、设备及存储介质
CN117453493B (zh) 大规模多数据中心的gpu算力集群监控方法及系统
CN118227639B (zh) 信息披露报告生成方法、装置和电子设备
CN118796845A (zh) 数据一致性分析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant