CN113553366A - 一种核电工程施工计划数据的采集抓取管理装置及方法 - Google Patents
一种核电工程施工计划数据的采集抓取管理装置及方法 Download PDFInfo
- Publication number
- CN113553366A CN113553366A CN202110794134.5A CN202110794134A CN113553366A CN 113553366 A CN113553366 A CN 113553366A CN 202110794134 A CN202110794134 A CN 202110794134A CN 113553366 A CN113553366 A CN 113553366A
- Authority
- CN
- China
- Prior art keywords
- data
- integration
- module
- logic
- nuclear power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000010276 construction Methods 0.000 title claims abstract description 15
- 230000010354 integration Effects 0.000 claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000013079 data visualisation Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 3
- 238000007405 data analysis Methods 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 11
- 238000007726 management method Methods 0.000 claims description 10
- 238000012800 visualization Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000013524 data verification Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 244000028344 Primula vulgaris Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明属于核电工程领域的数据处理领域，具体公开了一种核电工程施工计划数据的采集抓取管理装置及方法，装置包括一次数据集成模块、数据逻辑处理模块、二次数据集成模块与数据可视化及反馈模块，其中一次数据集成模块用于使用标准的数据集成方法，并将标准的项目工作分解结构及作业计划数据集成双向集成，以保障二个平台的数据同步；数据逻辑处理模块用于针对集成的P6数据以及EcoSys平台自身的数据进行算法处理；二次数据集成模块通过数据可视化前端用户的操作反馈。本发明通过多次数据集成与用户行为感知方法的综合运用实现了核电工程计划与项目绩效分析的动态高效数据集成，效率高。
Description
技术领域
本发明涉及核电工程领域的数据处理领域，具体为一种核电工程施工计划数据的采集抓取管理装置及方法。
背景技术
核电工程项目绩效管理平台EcoSys在进行项目绩效管控的过程中需要从计划编排系统Primavera P6系统中抓取数据以提升项目管理水平。但是由于项目各专业、各阶段的管控颗粒度及数据维度不一致，通常情况下二者的数据结构需要额外的人工对照才能实现一定程度的数据的转化，因此本发明主要解决的问题就是通过一个新的数据集成与处理技术实现二者的数据转化。
发明内容
本发明的目的在于提供一种核电工程施工计划数据的采集抓取管理装置及方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种核电工程施工计划数据的采集抓取管理装置，包括一次数据集成模块、数据逻辑处理模块、二次数据集成模块与数据可视化及反馈模块，其中一次数据集成模块用于使用标准的数据集成方法，并将标准的项目工作分解结构及作业计划数据集成双向集成，以保障二个平台的数据同步；数据逻辑处理模块用于针对集成的P6数据以及EcoSys平台自身的数据进行算法处理，通过算法处理产生新的数据列，且上述数据的类型包含了二次集成所需的关键作业约束信息，可视化所需的分组数据及线型样式；所述二次数据集成模块通过数据可视化前端用户的操作反馈，二次数据集成模块后台使用算法自动根据从用户前端收集的反馈数据提取集成对象清单并从实时从P6平台获取所需的作业逻辑、条件约束、资源数据，并存储到前端数据库内供前端可视化程序使用；所述数据可视化及反馈模块用于将前端的用户操作及输入反馈至数据逻辑处理模块、二次数据集成模块，以提升数据处理及二次集成的准确性与及时性，并通过二次集成模块不断循环优化形成了多次集成方法。
本发明还提供了上述一种核电工程施工计划数据的采集抓取管理方法，包括步骤：
S1：一次数据集成模块执行项目数据的读取、判断处理以及推送写入；
S2：数据逻辑处理模块对已集成的P6原始数据进行数据分析及逻辑生成；
S3：二次数据集成模块后台使用算法从收集的反馈数据提取集成对象清单，并实时从P6平台获取所需的作业逻辑、条件约束、资源数据，以供前端可视化程序使用；
S4：数据可视化及反馈模块收集用户操作行为，并使用分析算法分析生成对象数据集。
优选的，S1中具体包括：
S1A：读取P6软件的WBS、作业数据及EcoSys软件的WBS、作业数据；
S1B：通过数据验证算法对映射关系进行判断，针对验证成果的数据标识发送至集成调度器，根据业务规则针对无法匹配的数据进行忽略；
S1C：当集成调度器收到对应的数据标识后，从P6软件获取的完整数据，并推送写入EcoSys对应的数据结构中。
优选的，S2中具体包括：S2A：数据逻辑处理模块通过将一次集成过程中已经接入的原始P6数据进行数据分析及数据逻辑生成综合分析；S2B：数据分析及数据逻辑生成后自动生成新的数据集，包括作业对象分组、并根据模板设置线型样式、逻辑关系及偏差，且该新的数据集供二次及多次集成模块使用。
优选的，S3中具体包括：S3A：二次数据集成模块先使用数据分析算法生成动态集成对象清单；S3B：获取经S2数据处理逻辑处理生成的新的数据集及用户行为检测形成的数据过滤器，综合对比计算出当前用户所需二次或多次集成的所需的数据集，并发送给实施集成调度器；S3C：调度器通过API接口获取对应的数据后直接反馈至可视化前端客户端存储并进行存储，使用并发模式在后台进行相关的数据处理及存储。
优选的，S4中具体包括：数据可视化及反馈模块根据用户可视化操作界面收集到的用户操作行为，使用用户特定操作形成检查及分析算法分析生成对象数据集，并将该对象数据集提供给二次集成模块使用。
与现有技术相比，本发明的有益效果是：
本发明通过多次数据集成与用户行为感知方法的综合运用实现了核电工程计划与项目绩效分析的动态高效数据集成，将用户行为与系统集成进行了有效集合提升了集成数据转化的效率。使用本发明的方法自动抓取时间、逻辑和资源配置等数据以及数据的采集、预处理等方法，实现了核电工程项目基于数据可视化技术的核电工程应用，提升了核电项目管理水平。
附图说明
图1为本发明的模块框图；
图2为本发明实施例中一次数据集成模块的执行逻辑图；
图3为本发明实施例中数据逻辑处理模块的执行逻辑图；
图4为本发明实施例中二次数据集成模块的执行逻辑图；
图5为本发明实施例中数据可视化及反馈模块的执行逻辑图。
图中：101、一次数据集成模块；102、数据逻辑处理模块；103、二次数据集成模块；104、数据可视化及反馈模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“竖直”、“上”、“下”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1，本发明提供一种技术方案：一种核电工程施工计划数据的采集抓取管理装置，包括一次数据集成模块101、数据逻辑处理模块102、二次数据集成模块103与数据可视化及反馈模块104，其中一次数据集成模块101用于使用标准的数据集成方法，并将标准的项目工作分解结构及作业计划数据集成双向集成，以保障二个平台的数据同步；数据逻辑处理模块102用于针对集成的P6数据以及EcoSys平台自身的数据进行算法处理，通过算法处理产生新的数据列，且上述数据的类型包含了二次集成所需的关键作业约束信息，可视化所需的分组数据及线型样式；所述二次数据集成模块103通过数据可视化前端用户的操作反馈，二次数据集成模块103后台使用算法自动根据从用户前端收集的反馈数据提取集成对象清单并从实时从P6平台获取所需的作业逻辑、条件约束、资源数据，并存储到前端数据库内供前端可视化程序使用；所述数据可视化及反馈模块104用于将前端的用户操作及输入反馈至数据逻辑处理模块102、二次数据集成模块103，以提升数据处理及二次集成的准确性与及时性，并通过二次集成模块不断循环优化形成了多次集成方法。
请参阅图2-5，本实施例还提供了上述一种核电工程施工计划数据的采集抓取管理方法，包括如下步骤：
S1：一次数据集成模块101执行项目数据的读取、判断处理以及推送写入；
S2：数据逻辑处理模块102对已集成的P6原始数据进行数据分析及逻辑生成；
S3：二次数据集成模块103后台使用算法从收集的反馈数据提取集成对象清单，并实时从P6平台获取所需的作业逻辑、条件约束、资源数据，以供前端可视化程序使用；
S4：数据可视化及反馈模块104收集用户操作行为，并使用分析算法分析生成对象数据集。
在本实施例中，S1中具体包括：
S1A：读取P6软件的WBS、作业数据及EcoSys软件的WBS、作业数据；
S1B：通过数据验证算法对映射关系进行判断，针对验证成果的数据标识发送至集成调度器，根据业务规则针对无法匹配的数据进行忽略；
S1C：当集成调度器收到对应的数据标识后，从P6软件获取的完整数据，并推送写入EcoSys对应的数据结构中。
在本实施例中，S2中具体包括：
S2A：数据逻辑处理模块102通过将一次集成过程中已经接入的原始P6数据进行数据分析及数据逻辑生成综合分析；
S2B：数据分析及数据逻辑生成后自动生成新的数据集，包括作业对象分组、并根据模板设置线型样式、逻辑关系及偏差，且该新的数据集供二次及多次集成模块使用。
在本实施例中，S3中具体包括：
S3A：二次数据集成模块103先使用数据分析算法生成动态集成对象清单；
S3B：获取经S2数据处理逻辑处理生成的新的数据集及用户行为检测形成的数据过滤器，综合对比计算出当前用户所需二次或多次集成的所需的数据集，并发送给实施集成调度器；
S3C：调度器通过API接口获取对应的数据后直接反馈至可视化前端客户端存储并进行存储，使用并发模式在后台进行相关的数据处理及存储。
在本实施例中，S4中具体包括：数据可视化及反馈模块104根据用户可视化操作界面收集到的用户操作行为，使用用户特定操作形成检查及分析算法分析生成对象数据集，并将该对象数据集提供给二次集成模块使用。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (6)
1.一种核电工程施工计划数据的采集抓取管理装置，其特征在于，包括一次数据集成模块(101)、数据逻辑处理模块(102)、二次数据集成模块(103)与数据可视化及反馈模块(104)，其中一次数据集成模块(101)用于使用标准的数据集成方法，并将标准的项目工作分解结构及作业计划数据集成双向集成，以保障二个平台的数据同步；数据逻辑处理模块(102)用于针对集成的P6数据以及EcoSys平台自身的数据进行算法处理，通过算法处理产生新的数据列，且上述数据的类型包含了二次集成所需的关键作业约束信息，可视化所需的分组数据及线型样式；所述二次数据集成模块(103)通过数据可视化前端用户的操作反馈，二次数据集成模块(103)后台使用算法自动根据从用户前端收集的反馈数据提取集成对象清单并从实时从P6平台获取所需的作业逻辑、条件约束、资源数据，并存储到前端数据库内供前端可视化程序使用；所述数据可视化及反馈模块(104)用于将前端的用户操作及输入反馈至数据逻辑处理模块(102)、二次数据集成模块(103)，以提升数据处理及二次集成的准确性与及时性，并通过二次集成模块不断循环优化形成了多次集成方法。
2.一种核电工程施工计划数据的采集抓取管理方法，其特征在于，包括如下步骤：
S1：一次数据集成模块(101)执行项目数据的读取、判断处理以及推送写入；
S2：数据逻辑处理模块(102)对已集成的P6原始数据进行数据分析及逻辑生成；
S3：二次数据集成模块(103)后台使用算法从收集的反馈数据提取集成对象清单，并实时从P6平台获取所需的作业逻辑、条件约束、资源数据，以供前端可视化程序使用；
S4：数据可视化及反馈模块(104)收集用户操作行为，并使用分析算法分析生成对象数据集。
3.根据权利要求2所述的一种核电工程施工计划数据的采集抓取管理方法，其特征在于，所述S1中具体包括：
S1A：读取P6软件的WBS、作业数据及EcoSys软件的WBS、作业数据；
S1B：通过数据验证算法对映射关系进行判断，针对验证成果的数据标识发送至集成调度器，根据业务规则针对无法匹配的数据进行忽略；
S1C：当集成调度器收到对应的数据标识后，从P6软件获取的完整数据，并推送写入EcoSys对应的数据结构中。
4.根据权利要求2所述的一种核电工程施工计划数据的采集抓取管理方法，其特征在于，所述S2中具体包括：
S2A：数据逻辑处理模块(102)通过将一次集成过程中已经接入的原始P6数据进行数据分析及数据逻辑生成综合分析；
S2B：数据分析及数据逻辑生成后自动生成新的数据集，包括作业对象分组、并根据模板设置线型样式、逻辑关系及偏差，且该新的数据集供二次及多次集成模块使用。
5.根据权利要求2所述的一种核电工程施工计划数据的采集抓取管理方法，其特征在于，所述S3中具体包括：
S3A：二次数据集成模块(103)先使用数据分析算法生成动态集成对象清单；
S3B：获取经S2数据处理逻辑处理生成的新的数据集及用户行为检测形成的数据过滤器，综合对比计算出当前用户所需二次或多次集成的所需的数据集，并发送给实施集成调度器；
S3C：调度器通过API接口获取对应的数据后直接反馈至可视化前端客户端存储并进行存储，使用并发模式在后台进行相关的数据处理及存储。
6.根据权利要求2所述的一种核电工程施工计划数据的采集抓取管理方法，其特征在于，所述S4中具体包括：数据可视化及反馈模块(104)根据用户可视化操作界面收集到的用户操作行为，使用用户特定操作形成检查及分析算法分析生成对象数据集，并将该对象数据集提供给二次集成模块使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110794134.5A CN113553366A (zh) | 2021-07-14 | 2021-07-14 | 一种核电工程施工计划数据的采集抓取管理装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110794134.5A CN113553366A (zh) | 2021-07-14 | 2021-07-14 | 一种核电工程施工计划数据的采集抓取管理装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113553366A true CN113553366A (zh) | 2021-10-26 |
Family
ID=78131739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110794134.5A Pending CN113553366A (zh) | 2021-07-14 | 2021-07-14 | 一种核电工程施工计划数据的采集抓取管理装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553366A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102497033A (zh) * | 2011-12-30 | 2012-06-13 | 浙江大华系统工程有限公司 | 一种变电运行可视化的实现方法及系统 |
| CN108614688A (zh) * | 2016-12-30 | 2018-10-02 | 上海华讯网络系统有限公司 | 应用于混合云环境的可视化应用编排及方法 |
| CN111861235A (zh) * | 2020-07-27 | 2020-10-30 | 浪潮云信息技术股份公司 | 任务流程编排方法及装置、电子设备 |
| CN112561248A (zh) * | 2020-11-27 | 2021-03-26 | 国电南瑞南京控制系统有限公司 | 一种主配网调度停电计划智能分析管控方法及系统 |
-
2021
- 2021-07-14 CN CN202110794134.5A patent/CN113553366A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102497033A (zh) * | 2011-12-30 | 2012-06-13 | 浙江大华系统工程有限公司 | 一种变电运行可视化的实现方法及系统 |
| CN108614688A (zh) * | 2016-12-30 | 2018-10-02 | 上海华讯网络系统有限公司 | 应用于混合云环境的可视化应用编排及方法 |
| CN111861235A (zh) * | 2020-07-27 | 2020-10-30 | 浪潮云信息技术股份公司 | 任务流程编排方法及装置、电子设备 |
| CN112561248A (zh) * | 2020-11-27 | 2021-03-26 | 国电南瑞南京控制系统有限公司 | 一种主配网调度停电计划智能分析管控方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| 徐诗渊;: "核电项目设计管理采用班组管理模式探究", 企业管理, no. 2 * |
| 牛博生: ""BIM技术在工程项目进度管理中的应用研究"", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 3, pages 038 - 647 * |
| 申屠军;李小燕;: "核电数字化设计体系的组成和数据管理", 仪器仪表用户, no. 11 * |
| 经静;: "核电工程智能项目管理信息系统的技术探究", 中国管理信息化, no. 08 * |
| 陈建国;刘云峰;: "核电工程项目设计进度计划编制原则浅探", 项目管理技术, no. 08 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105184394B (zh) | 基于配电网cps在线数据挖掘的优化控制方法 | |
| CN103077212A (zh) | 变电站配置文件管控方法和系统 | |
| CN103439114A (zh) | 一种汽轮机组热力性能试验系统及装置 | |
| CN110162365B (zh) | 一种自动操作sap业务软件的方法和系统 | |
| CN117524388B (zh) | 一种健康医疗数据实时采集与质量控制方法 | |
| CN113642299A (zh) | 一种基于电网统计报表一键生成的方法 | |
| CN111159152B (zh) | 基于大数据处理技术的二次运维数据融合方法 | |
| CN109117564B (zh) | 一种pds三维模型转换relap5模型的系统和方法 | |
| CN111507635A (zh) | 一种基于电力物联网的变电运检智能移动作业系统及方法 | |
| CN113553366A (zh) | 一种核电工程施工计划数据的采集抓取管理装置及方法 | |
| CN111352953A (zh) | 一种企业环保管理及报告系统 | |
| CN109635350B (zh) | 一种用于仿真的潮流断面自动生成的数据替换方法及系统 | |
| CN112241391A (zh) | 供电公司电力数据的提取、清理、整合方法及系统 | |
| CN109710669B (zh) | 基于校验规则库的提高全电网模型数据准确性的方法 | |
| CN113075911B (zh) | 核电厂安全级数字化仪控系统软件自动验证方法和系统 | |
| CN110298585B (zh) | 一种变电站设备监控信息分层分级自动审核方法 | |
| CN112395343B (zh) | 一种基于dsg的字段变更数据采集抽取方法 | |
| CN112165170A (zh) | 一种变电站设备智能顺控方法及系统 | |
| Edelev et al. | A software platform to support the energy system resilience study. | |
| CN117892212B (zh) | 一种分布式异构能源站点态势感知监测方法 | |
| CN107506448A (zh) | 一种智能电网时标量测数据交换格式的方法及系统 | |
| CN118170448A (zh) | 一种风险监测器参数自动配置方法 | |
| CN116862297A (zh) | 一种核电厂指标信息系统的设计方法 | |
| CN114188924A (zh) | 一种基于配电网保护整定系统及配电网保信系统的仿真方法 | |
| Liu et al. | A method for integrating operation and maintenance data of power information systems based on artificial intelligence technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: No. 29 Hong Cao Road, Xuhui District, Shanghai Applicant after: Shanghai Nuclear Engineering Research and Design Institute Co.,Ltd. Address before: No. 29 Hong Cao Road, Xuhui District, Shanghai Applicant before: SHANGHAI NUCLEAR ENGINEERING RESEARCH & DESIGN INSTITUTE Co.,Ltd. |