CN114528314B - 一种工程建设项目监管系统及方法 - Google Patents
一种工程建设项目监管系统及方法 Download PDFInfo
- Publication number
- CN114528314B CN114528314B CN202210413174.5A CN202210413174A CN114528314B CN 114528314 B CN114528314 B CN 114528314B CN 202210413174 A CN202210413174 A CN 202210413174A CN 114528314 B CN114528314 B CN 114528314B
- Authority
- CN
- China
- Prior art keywords
- data
- project
- analysis
- distribution
- engineering construction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000010276 construction Methods 0.000 title claims abstract description 74
- 238000004458 analytical method Methods 0.000 claims abstract description 136
- 238000004140 cleaning Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 66
- 230000008569 process Effects 0.000 claims description 53
- 238000006243 chemical reaction Methods 0.000 claims description 26
- 238000012544 monitoring process Methods 0.000 claims description 22
- 230000008520 organization Effects 0.000 claims description 22
- 238000007726 management method Methods 0.000 claims description 18
- 230000002159 abnormal effect Effects 0.000 claims description 16
- 230000005611 electricity Effects 0.000 claims description 16
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 16
- 238000009434 installation Methods 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 10
- 230000001419 dependent effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000007619 statistical method Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 6
- 238000010219 correlation analysis Methods 0.000 claims description 5
- -1 electricity Substances 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000005406 washing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 abstract description 5
- 238000007418 data mining Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 3
- 238000012098 association analyses Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012550 audit Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2433—Query languages
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Abstract
本发明公开了一种工程建设项目监管系统及方法，通过对数据资源进行统一汇聚、统一整合、统一汇总、统一计算和统一规划，对数据进行清洗，通过大数据技术进行数据挖掘、多维分析、实时预测、可视化展示、直观呈现数据、追踪项目进度、辅助领导决策。
Description
技术领域
本发明属于工程项目监管技术领域，具体涉及一种工程建设项目大数据能效监管系统及方法。
背景技术
工程建设项目审批制度是目前推动政府职能和深化“放管服”改革、优化营商环境的重要内容。在其实现技术层面上，可以通过数据仓库和结构化程序语言来实现，目前常用的有数据仓库工具，数据仓库工具通过可视化操作屏蔽了复杂的编码任务，提高了开发速度，降低了难度，但是缺少灵活性。结构化查询语言比数据仓库相比更加灵活，提高了运行效率，但是编码复杂，对技术的要求要求高。两者看来，都不是最优的方案。
发明内容
针对现有技术中的上述不足，本发明提供的工程建设项目监管系统及方法解决了现有的工程建设项目难以从宏观上对各个过程进行监管、且监管效率低，以及难以进行建设任务的统一维护和管理的问题。
为了达到上述发明目的，本发明采用的技术方案为：一种工程建设项目监管系统，包括数据采集层、数据加工层、服务层以及应用层；
所述数据采集层，用于采集工程建设项目相关的基础数据，所述基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据，以及综合受办平台的基础数据和办件数据；
所述数据加工层，用于对采集的基础数据进行数据清洗及数据转换处理，并将处理后的数据装载至工程建设项目分析数据库中；
所述服务层，用于根据项目监管需求调用项目分析数据库中的相关数据进行分析并获得对应的分析结果，所述分析结果包括项目分布分析、办理过程分析及预警监测分析；
所述应用层，用于通过服务接口调取所需分析结果并进行展示。
进一步地，所述数据采集层中，对于综窗系统、中介超市系统和水电气信报装系统的基础数据通过配置接口使用Web服务描述语言的方式进行采集；
对于效能监督管理系统以及综合受办平台的基础数据采用数据库连接的方式进行采集。
上述进一步方案的有益效果为：基于不同的系统采用对应的数据采集方式，避免对现有系统的数据接口进行改造，以便更快地部署整个系统结构。
进一步地，所述数据加工层包括HIVE仓库、数据清洗单元、数据转换单元以及数据装载单元；
所述HIVE仓库，用于按类别存储数据采集层采集的所有基础数据；
所述数据清洗单元，用于对各个类别的基础数据中的不完整数据、错误数据以及重复数据进行处理，获取完整、正确且唯一的基础数据；
所述数据转换单元，用于将处理后的各类数据进行关联查询及转换处理，获得各类数据的结果表及汇总数据；
所述数据装载单元，用于将结果表及汇总数据装载至工程建设项目分析数据库中。
上述进一步方案的有益效果为：通过数据加工层中各个功能单元的数据处理，获取准确的基础数据，便于后续服务层对基础数据进行分析处理，获取更加准确的分析结果。
进一步地，所述工程建设项目监管系统还包括日志采集模块，所述日志采集模块设置于所述数据加工层中，用于对数据加工层工作过程中的计算任务、流程健康状况、执行日志以及数据处理情况进行监控。
上述进一步方案的有益效果为：通过日志采集模块对数据加工层的数据处理过程进行监控，便于在出现数据处理故障时，快速找出故障点并进行修复。
一种工程建设项目监管方法，包括以下步骤：
S1、对工程建设项目基础数据进行数据加工处理；
其中，数据加工处理包括依次进行数据清洗和数据转换处理，并装载至工程建设项目分析数据库中；
S2、对工程建设项目分析数据中的数据进行数据分析处理，获得项目分布分析结果、办理过程分析结果以及预警监测分析结果；
S3、根据工程建设项目监管需求，通过服务接口调用对应的分析结果并展示，实现工程建设项目监管。
进一步地，所述步骤S1中的基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据，以及综合受办平台的机构数据和办件数据；
所述步骤S1中，进行数据清洗的基础数据包括不完整数据、错误数据以及重复数据；
其中，对不完整数据进行数据清洗的方法具体为：
A1、确定与不完整数据的数据类型相同的其他完整基础数据；
A2、根据欧氏距离和马氏距离确定其他完整基础数据中距离不完整数据中缺失值最近的K个值；
A3、确定将K个值的加权平均值，进而对不完整数据进行补全处理；
对错误数据进行数据清洗的方法具体为：
对错误数据进行标准化处理，判断标注化处理后的数据是否大于设定阈值，若是，则其为错误数据，将其加入到异常池，否则，为正确数据；
对于加入到异常池中的数据，通过人工稽查的方式再次核查其是否为错误数据，若是，则将其保留在异常池中，否则将其从异常池中释放作为正确数据；
对重复数据进行数据清洗的方法具体为：
对于同一基础数据来源、同一时间段内采集的相同基础数据，去除其重复数据，保留唯一基础数据；
所述步骤S1中，对数据清洗后的基础数据进行数据转换包括：
（1）将综窗系统的项目数据中的项目清单和项目详细信息采用结构化查询语言的方式进行查询关联处理，并得到对应的结果表；
（2）将效能监督管理系统中的项目数据中的项目表和项目详细表中的数据采用结构化查询语言的方式进行查询关联处理，并得到对应的结果表；
（3）将水电气信报装系统、中介超市、以及综合受办平台的机构数据进行字段删减及粒度转换，获得将详细信息转换为以地区为维度的机构汇总数据；
（4）将水电气信报装系统、中介超市、以及综合受办平台中的办件数据进行字段删减，并将删减后的办件数据整合在一起，获得办件汇总数据。
上述进一步方案的有益效果为：通过对采集基础数据的前期加工处理，为后续获得更加准确的数据分析结果打下基础。
进一步地，所述步骤S1中，通过日志采集模块对数据加工处理进行全过程监控并输出对应的记录日志，记录日志记录的信息包括每一个执行动作信息、执行时间以及执行结果，并在执行失败时，反馈记录的错误信息，所述错误信息包括执行动作的具体步骤以及结构化查询语句的具体位置；
所述记录日志包括执行过程日志、错误日志以及总体日志。
上述进一步方案的有益效果为：通过设置日志采集模块，并对其中记录的日志进行分类，以便实时查看数据加工过程，及快速解决数据处理错误问题。
进一步地，所述步骤S2中，获取项目分布分析结果及办理过程分析结果的数据分析处理方法具体为：
B1、对工程建设项目分析数据库中存储的数据进行多标签分类；
其中，获取项目分布分析结果对应的标签包括项目类型、项目完成阶段以及项目所在地区；获取办理过程分析结果对应的标签包括项目审批状态、项目审批类型、项目建设办件类型、项目建设办件状态；
B2、构建分类结果与分析目标之间的关联映射表；
其中，所述分析目标包括项目分布分析以及办理过程分析；
B3、确定分析目标，并根据关联映射表选择对应的标签数据；
B4、将标签数据输入到关联分析模型中，并对输出结果进行统计分析，获取基于标签数据的分析结果；
其中，分析结果包括项目分布分析结果以及办理过程分析结果，所述项目分布分析结果包括地区项目分布、阶段项目分布、项目趋势分布以及项目类型分布；所述办理过程分析结果包括审批用时分析、办件趋势分布、以及逾期办件分布。
进一步地，所述步骤B4中，关联分析模型的表达式为：
式中，
为关联模型输出的关联值，
为关联度权重系数，
为绝对关联度，
为相对关联度；
其中，
，
为与绝对关联度相关的因变量统计值，
为与绝对关联度相关的相关因素统计值；
上述进一步方案的有益效果为：通过对工程建设项目分析数据库中的数据进行再分类及根据分析目标，对其进行有针对性的分析处理，以便获取更加准确的分析结果。
进一步地，所述步骤S2中，获取预警监测分析结果的数据分析处理方法具体为：
C1、设置工程建设项目的逾期监测类型及其对应的各阶段监测数据对应的时间阈值；
C2、实时调取工程建设项目分析数据库中与项目完成阶段、项目审批状态、项目建设办件状态相关的阶段数据及实际时间数据；
C3、根据阶段数据调用对应的时间阈值，并将其与实际时间数据进行对比，确定是否发生逾期事件；
若是，则进入步骤C4；
若否，则进入步骤C5；
C4、向对应的基础数据上传系统发送逾期通知；
C5、确定当前阶段的实际时间数据距离下一阶段设定的时间阈值之间的差值，当差值小于设定阈值时，向对应的基础数据上传系统发送逾期预警通知。
上述进一步方案的有益效果为：基于项目实际进度与设定进度阈值之间的对比，以便对工程建设项目进行逾期通知及预警，进而提高工程建设项目的进度。
本发明的有益效果为：
（1）本发明基于大数据技术实现工程建设项目的监管，通过大数据技术监管汇聚各个子系统信息数据，通过数据挖掘、多维分析、实时预测、可视化展示等，进而从宏观上掌握工程建设项目情况、监控重点项目进展、了解工程建设项目的重点工作，不断提高在监管工程建设项目时的科学决策水平；
（2）本发明在大数据的基础上，通过HIVE仓库工具结合结构化查询语言的方式，综合两者的优点，通过可视化工作台进行系统开发，降低了编码难度，提高了开发速度，保持了开发的灵活性，并且便于系统任务的统一维护和管理；
（3）本发明中将采集到的数据导入hive数据仓库，再通过hive数据仓库进行数据清洗、数据转换和数据装载，结合结构化查询语言的方式，通过结构化查询语言来实现数据清洗、数据转换和数据装载这些过程，并结合现有技术的优点，最大程度规避现有技术存在的缺陷，将数据开发过程变得更加方便，降低了编码难度，提高了开发速度和效率，同时也保持开发的灵活性，使数据处理过程更加简单。
附图说明
图1为本发明提供的工程建设项目监管系统结构示意图。
图2为本发明提供的工程建设项目监管方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例1：
如图1所示，一种工程建设项目监管系统，:包括数据采集层、数据加工层、服务层以及应用层；
所述数据采集层，用于采集工程建设项目相关的基础数据，所述基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据，以及综合受办平台的基础数据和办件数据；
所述数据加工层，用于对采集的基础数据进行数据清洗及数据转换处理，并将处理后的数据装载至工程建设项目分析数据库中；
所述服务层，用于根据项目监管需求调用项目分析数据库中的相关数据进行分析并获得对应的分析结果，所述分析结果包括项目分布分析、办理过程分析及预警监测分析；
所述应用层，用于通过服务接口调取所需分析结果并进行展示。
在本发明实施例中，由于数据量庞大，并且需要按照固定时间或周期进行数据更新，首先需要配置各个系统的数据采集方式；因此，在数据采集层中，对于综窗系统、中介超市系统和水电气信报装系统的基础数据通过配置接口使用Web服务描述语言的方式进行采集；对于效能监督管理系统以及综合受办平台的基础数据采用数据库连接的方式进行采集。
在本发明实施例中，图1中的数据加工层包括HIVE仓库、数据清洗单元、数据转换单元以及数据装载单元；
所述HIVE仓库，用于按类别存储数据采集层采集的所有基础数据；
所述数据清洗单元，用于对各个类别的基础数据中的不完整数据、错误数据以及重复数据进行处理，获取完整、正确且唯一的基础数据；对于不完整的数据，需要通过其他信息来补全，例如当效能监督管理系统的项目数据不完整时，通过对比综窗系统的项目数据来补全缺少的数据，如果无法补全的数据则选择剔除；对于错误数据，针对一些明显的错误比如项目金额为零的数据放入异常池，人工稽核之后重新上传数据，再对这部分数据进行采集；对比重复数据，必须进行去重，保留唯一记录；
所述数据转换单元，用于将处理后的各类数据进行关联查询及转换处理，获得各类数据的结果表及汇总数据；包括综窗系统和效能监督管理系统对应的结果表，以及水电气信报装系统、中介超市和综合受办平台的办件和机构数据的汇总数据；
所述数据装载单元，用于将结果表及汇总数据装载至工程建设项目分析数据库中。
在本发明实施例中，所述工程建设项目监管系统还包括日志采集模块，所述日志采集模块设置于所述数据加工层中，用于对数据加工层工作过程中的计算任务、流程健康状况、执行日志以及数据处理情况进行监控。
实施例2：
如图2所示，本发明实施例中提供了一种基于实施例1中的工程建设项目监管系统的监管方法，包括以下步骤：
S1、对工程建设项目基础数据进行数据加工处理；
其中，数据加工处理包括依次进行数据清洗和数据转换处理，并装载至工程建设项目分析数据库中；
S2、对工程建设项目分析数据中的数据进行数据分析处理，获得项目分布分析结果、办理过程分析结果以及预警监测分析结果；
S3、根据工程建设项目监管需求，通过服务接口调用对应的分析结果并展示，实现工程建设项目监管。
本发明实施例的步骤S1中的基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据，以及综合受办平台的机构数据和办件数据；
所述步骤S1中，进行数据清洗的基础数据包括不完整数据、错误数据以及重复数据；
其中，对不完整数据进行数据清洗的方法具体为：
A1、确定与不完整数据的数据类型相同的其他完整基础数据；
A2、根据欧氏距离和马氏距离确定其他完整基础数据中距离不完整数据中缺失值最近的K个值；
A3、确定将K个值的加权平均值，进而对不完整数据进行补全处理。
对错误数据进行数据清洗的方法具体为：
对错误数据进行标准化处理，判断标注化处理后的数据是否大于设定阈值，若是，则其为错误数据，将其加入到异常池，否则，为正确数据；
对于加入到异常池中的数据，通过人工稽查的方式再次核查其是否为错误数据，若是，则将其保留在异常池中，否则将其从异常池中释放作为正确数据；
其中，标准化处理的公式为：
式中，
为标准化处理后的数据，
为错误数据，
为均值，
为方差；
对于标准化处理后的数据
大于等于设定阈值
时，将其作为错误数据。
对重复数据进行数据清洗的方法具体为：
对于同一基础数据来源、同一时间段内采集的相同基础数据，去除其重复数据，保留唯一基础数据。
本发明实施例的步骤S1中，对数据清洗后的基础数据进行数据转换包括：
（1）将综窗系统的项目数据中的项目清单和项目详细信息采用结构化查询语言的方式进行查询关联处理，并得到对应的结果表；
（2）将效能监督管理系统中的项目数据中的项目表和项目详细表中的数据采用结构化查询语言的方式进行查询关联处理，并得到对应的结果表；
（3）将水电气信报装系统、中介超市、以及综合受办平台的机构数据进行字段删减及粒度转换，获得将详细信息转换为以地区为维度的机构汇总数据；
（4）将水电气信报装系统、中介超市、以及综合受办平台中的办件数据进行字段删减，并将删减后的办件数据整合在一起，获得办件汇总数据。
在本实施例的步骤S1中，通过日志采集模块对数据加工处理进行全过程监控并输出对应的记录日志，记录日志记录的信息包括每一个执行动作信息、执行时间以及执行结果，并在执行失败时，反馈记录的错误信息，所述错误信息包括执行动作的具体步骤以及结构化查询语句的具体位置；
所述记录日志包括执行过程日志、错误日志以及总体日志。
具体地，本实施例中的日志采集过程贯穿于整个数据加工层，从数据采集到最终数据的装载，对每一个执行过程进行监控，无论执行过程是否成功，都要输出日志，记录每一个执行过程的信息，执行时间，执行结果等，如果执行失败，记录详细的错误信息，需要细致到某一个执行过程的具体哪一个步骤，哪一句结构化查询语句。当执行失败时，通过错误日志能够快速找到出错原因，便于问题的解决。日志分为三类，第一类是执行过程日志，对执行过程中的每一个步骤进行记录；第二类是错误日志，当某个模块产生错误的时候写入错误日志，记录出错的时间、模块和出错信息等。第三类是总体日志，可提供多级别的日志记录功能，便于调试和运维系统。
本发明实施例的步骤S2中，获取项目分布分析结果及办理过程分析结果的数据分析处理方法具体为：
B1、对工程建设项目分析数据库中存储的数据进行多标签分类；
其中，获取项目分布分析结果对应的标签包括项目类型、项目完成阶段以及项目所在地区；获取办理过程分析结果对应的标签包括项目审批状态、项目审批类型、项目建设办件类型、项目建设办件状态；
B2、构建分类结果与分析目标之间的关联映射表；
其中，所述分析目标包括项目分布分析以及办理过程分析；
B3、确定分析目标，并根据关联映射表选择对应的标签数据；
B4、将标签数据输入到关联分析模型中，并对输出结果进行统计分析，获取基于标签数据的分析结果；
其中，分析结果包括项目分布分析结果以及办理过程分析结果，所述项目分布分析结果包括地区项目分布、阶段项目分布、项目趋势分布以及项目类型分布；所述办理过程分析结果包括审批用时分析、办件趋势分布、以及逾期办件分布。
在本发明实施例中，基于上述分析方法，基于业务要求，对项目运行情况进行分析，主要考虑项目数量和项目金额两大指标，从不同的维度分析项目的分布及项目的分布趋势。对项目审批过程进行分析，分析项目办件趋势，对审批时间进行分析，进而进行效能分析，得出异常办件信息，对超期办件进行预警通知，为领导决策、政府管理、社会服务提供支撑。对辅线系统运行情况进行分析，针对水电气信报装和中介超市的机构入住情况进行统计分析，了解各个市州的机构入驻情况，并针对办件情况进行分析，了解辅线模块的办件趋势。
在本发明实施例中步骤B4中，关联分析模型的表达式为：
式中，
为关联模型输出的关联值，
为关联度权重系数，
为绝对关联度，
为相对关联度；
其中，
，
为与绝对关联度相关的因变量统计值，
为与绝对关联度相关的相关因素统计值；
，
，
为因变量数据，
为相关因素序列；
在本发明实施例的步骤S2中，获取预警监测分析结果的数据分析处理方法具体为：
C1、设置工程建设项目的逾期监测类型及其对应的各阶段监测数据对应的时间阈值；
C2、实时调取工程建设项目分析数据库中与项目完成阶段、项目审批状态、项目建设办件状态相关的阶段数据及实际时间数据；
C3、根据阶段数据调用对应的时间阈值，并将其与实际时间数据进行对比，确定是否发生逾期事件；
若是，则进入步骤C4；
若否，则进入步骤C5；
C4、向对应的基础数据上传系统发送逾期通知；
C5、确定当前阶段的实际时间数据距离下一阶段设定的时间阈值之间的差值，当差值小于设定阈值时，向对应的基础数据上传系统发送逾期预警通知。
在本发明实施例中，基于上述监测预警方法，对于统计汇总的数据，按照不同的维度，常用的维度为时间、地区、阶段等来统计各个维度的工程建设项目数量；另外有一部分数据需要根据现有的指标进行计算之后得出结果，比如项目的逾期率、办件的办结率和超期天数等，将计算结果存储到分析数据库，以供分析使用。
在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。
Claims (6)
1.一种工程建设项目监管系统，其特征在于，包括数据采集层、数据加工层、服务层以及应用层；
所述数据采集层，用于采集工程建设项目相关的基础数据，所述基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据，以及综合受办平台的基础数据和办件数据；
所述数据加工层，用于对采集的基础数据进行数据清洗及数据转换处理，并将处理后的数据装载至工程建设项目分析数据库中；
所述服务层，用于根据项目监管需求调用项目分析数据库中的相关数据进行分析并获得对应的分析结果，所述分析结果包括项目分布分析、办理过程分析及预警监测分析；
所述应用层，用于通过服务接口调取所需分析结果并进行展示；
所述数据采集层中，对于综窗系统、中介超市系统和水电气信报装系统的基础数据通过配置接口使用Web服务描述语言的方式进行采集；
对于效能监督管理系统以及综合受办平台的基础数据采用数据库连接的方式进行采集；
所述工程建设项目监管系统还包括日志采集模块，所述日志采集模块设置于所述数据加工层中，用于对数据加工层工作过程中的计算任务、流程健康状况、执行日志以及数据处理情况进行监控；
所述数据加工层包括HIVE仓库、数据清洗单元、数据转换单元以及数据装载单元；
所述HIVE仓库，用于按类别存储数据采集层采集的所有基础数据；
所述数据清洗单元，用于对各个类别的基础数据中的不完整数据、错误数据以及重复数据进行处理，获取完整、正确且唯一的基础数据；
所述数据转换单元，用于将处理后的各类数据进行关联查询及转换处理，获得各类数据的结果表及汇总数据；
所述数据装载单元，用于将结果表及汇总数据装载至工程建设项目分析数据库中；
所述服务层中，对调用项目分析数据库中的相关数据进行分析，获得项目分布分析结果及办理过程分析结果的分析处理具体为：
B1、对工程建设项目分析数据库中存储的数据进行多标签分类；
其中，获取项目分布分析结果对应的标签包括项目类型、项目完成阶段以及项目所在地区；获取办理过程分析结果对应的标签包括项目审批状态、项目审批类型、项目建设办件类型、项目建设办件状态；
B2、构建分类结果与分析目标之间的关联映射表；
其中，所述分析目标包括项目分布分析以及办理过程分析；
B3、确定分析目标，并根据关联映射表选择对应的标签数据；
B4、将标签数据输入到关联分析模型中，并对输出结果进行统计分析，获取基于标签数据的分析结果；
其中，分析结果包括项目分布分析结果以及办理过程分析结果，所述项目分布分析结果包括地区项目分布、阶段项目分布、项目趋势分布以及项目类型分布；所述办理过程分析结果包括审批用时分析、办件趋势分布、以及逾期办件分布；
基于获得分析目标的方法，基于业务要求，对项目运行情况进行分析，考虑项目数量和项目金额两大指标，从不同的维度分析项目的分布及项目的分布趋势，对项目审批过程进行分析，分析项目办件趋势，对审批时间进行分析，进而进行效能分析，得出异常办件信息，对超期办件进行预警通知；对辅线系统运行情况进行分析，针对水电气信报装和中介超市的机构入住情况进行统计分析，了解各机构入驻情况，并针对办件情况进行分析，了解辅线模块的办件趋势。
2.一种基于权利要求1所述的工程建设项目监管系统的监管方法，其特征在于，包括以下步骤：
S1、对工程建设项目基础数据进行数据加工处理；
其中，数据加工处理包括依次进行数据清洗和数据转换处理，并装载至工程建设项目分析数据库中；
S2、对工程建设项目分析数据中的数据进行数据分析处理，获得项目分布分析结果、办理过程分析结果以及预警监测分析结果；
S3、根据工程建设项目监管需求，通过服务接口调用对应的分析结果并展示，实现工程建设项目监管；
所述步骤S2中，获取项目分布分析结果及办理过程分析结果的数据分析处理方法具体为：
B1、对工程建设项目分析数据库中存储的数据进行多标签分类；
其中，获取项目分布分析结果对应的标签包括项目类型、项目完成阶段以及项目所在地区；获取办理过程分析结果对应的标签包括项目审批状态、项目审批类型、项目建设办件类型、项目建设办件状态；
B2、构建分类结果与分析目标之间的关联映射表；
其中，所述分析目标包括项目分布分析以及办理过程分析；
B3、确定分析目标，并根据关联映射表选择对应的标签数据；
B4、将标签数据输入到关联分析模型中，并对输出结果进行统计分析，获取基于标签数据的分析结果；
其中，分析结果包括项目分布分析结果以及办理过程分析结果，所述项目分布分析结果包括地区项目分布、阶段项目分布、项目趋势分布以及项目类型分布；所述办理过程分析结果包括审批用时分析、办件趋势分布、以及逾期办件分布；
基于获得分析目标的方法，基于业务要求，对项目运行情况进行分析，考虑项目数量和项目金额两大指标，从不同的维度分析项目的分布及项目的分布趋势，对项目审批过程进行分析，分析项目办件趋势，对审批时间进行分析，进而进行效能分析，得出异常办件信息，对超期办件进行预警通知；对辅线系统运行情况进行分析，针对水电气信报装和中介超市的机构入住情况进行统计分析，了解各机构入驻情况，并针对办件情况进行分析，了解辅线模块的办件趋势。
3.根据权利要求2所述的工程建设项目监管方法，其特征在于，所述步骤S1中的基础数据包括综窗系统的项目数据、水电气信报装系统的机构数据和办件数据、中介超市系统的机构数据和办件数据、效能监督管理系统的项目数据和办件数据，以及综合受办平台的机构数据和办件数据；
所述步骤S1中，进行数据清洗的基础数据包括不完整数据、错误数据以及重复数据；
其中，对不完整数据进行数据清洗的方法具体为：
A1、确定与不完整数据的数据类型相同的其他完整基础数据；
A2、根据欧氏距离和马氏距离确定其他完整基础数据中距离不完整数据中缺失值最近的K个值；
A3、确定将K个值的加权平均值，进而对不完整数据进行补全处理；
对错误数据进行数据清洗的方法具体为：
对错误数据进行标准化处理，判断标注化处理后的数据是否大于设定阈值，若是，则其为错误数据，将其加入到异常池，否则，为正确数据；
对于加入到异常池中的数据，通过人工稽查的方式再次核查其是否为错误数据，若是，则将其保留在异常池中，否则将其从异常池中释放作为正确数据；
对重复数据进行数据清洗的方法具体为：
对于同一基础数据来源、同一时间段内采集的相同基础数据，去除其重复数据，保留唯一基础数据；
所述步骤S1中，对数据清洗后的基础数据进行数据转换包括：
（1）将综窗系统的项目数据中的项目清单和项目详细信息采用结构化查询语言的方式进行查询关联处理，并得到对应的结果表；
（2）将效能监督管理系统中的项目数据中的项目表和项目详细表中的数据采用结构化查询语言的方式进行查询关联处理，并得到对应的结果表；
（3）将水电气信报装系统、中介超市、以及综合受办平台的机构数据进行字段删减及粒度转换，获得将详细信息转换为以地区为维度的机构汇总数据；
（4）将水电气信报装系统、中介超市、以及综合受办平台中的办件数据进行字段删减，并将删减后的办件数据整合在一起，获得办件汇总数据。
4.根据权利要求2所述的工程建设项目监管方法，其特征在于，所述步骤S1中，通过日志采集模块对数据加工处理进行全过程监控并输出对应的记录日志，记录日志记录的信息包括每一个执行动作信息、执行时间以及执行结果，并在执行失败时，反馈记录的错误信息，所述错误信息包括执行动作的具体步骤以及结构化查询语句的具体位置；
所述记录日志包括执行过程日志、错误日志以及总体日志。
5.根据权利要求2所述的工程建设项目监管方法，其特征在于，所述步骤B4中，关联分析模型的表达式为：
式中，
为关联模型输出的关联值，
为关联度权重系数，
为绝对关联度，
为相对关联度；
其中，
，
为与绝对关联度相关的因变量统计值，
为与绝对关联度相关的相关因素统计值；
6.根据权利要求2所述的工程建设项目监管方法，其特征在于，所述步骤S2中，获取预警监测分析结果的数据分析处理方法具体为：
C1、设置工程建设项目的逾期监测类型及其对应的各阶段监测数据对应的时间阈值；
C2、实时调取工程建设项目分析数据库中与项目完成阶段、项目审批状态、项目建设办件状态相关的阶段数据及实际时间数据；
C3、根据阶段数据调用对应的时间阈值，并将其与实际时间数据进行对比，确定是否发生逾期事件；
若是，则进入步骤C4；
若否，则进入步骤C5；
C4、向对应的基础数据上传系统发送逾期通知；
C5、确定当前阶段的实际时间数据距离下一阶段设定的时间阈值之间的差值，当差值小于设定阈值时，向对应的基础数据上传系统发送逾期预警通知。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210413174.5A CN114528314B (zh) | 2022-04-20 | 2022-04-20 | 一种工程建设项目监管系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210413174.5A CN114528314B (zh) | 2022-04-20 | 2022-04-20 | 一种工程建设项目监管系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114528314A CN114528314A (zh) | 2022-05-24 |
| CN114528314B true CN114528314B (zh) | 2022-07-08 |
Family
ID=81627980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210413174.5A Expired - Fee Related CN114528314B (zh) | 2022-04-20 | 2022-04-20 | 一种工程建设项目监管系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114528314B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115271648B (zh) * | 2022-07-19 | 2023-10-10 | 广东省投资和信用中心(广东省发展和改革事务中心) | 一种项目可视化监管系统、方法、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731791A (zh) * | 2013-12-18 | 2015-06-24 | 东阳艾维德广告传媒有限公司 | 一种市场销售分析数据集市系统 |
| CN108510248A (zh) * | 2018-04-08 | 2018-09-07 | 广东新康博思信息技术有限公司 | 一种全面监控的建设项目环境审批系统 |
| CN109190981A (zh) * | 2018-09-04 | 2019-01-11 | 温州大学 | 基于灰色关联度的球形阀体装配质量评价方法 |
| CN109189826A (zh) * | 2018-08-14 | 2019-01-11 | 北京新广视通科技有限公司 | 一种基于大数据的政务服务系统 |
| CN110287249A (zh) * | 2019-06-17 | 2019-09-27 | 中电科大数据研究院有限公司 | 一种基于微服务架构的服务系统 |
| CN113240403A (zh) * | 2021-06-10 | 2021-08-10 | 周明升 | 一种基于多源数据的工程建设项目管理系统和方法 |
| CN114092024A (zh) * | 2021-09-29 | 2022-02-25 | 深圳市永兴元科技股份有限公司 | 投资项目全流程管理方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101676932A (zh) * | 2008-09-16 | 2010-03-24 | 深圳市红旗信息技术有限公司 | 政府投资建设项目电子监管方法及系统 |
| CN107527155A (zh) * | 2017-09-06 | 2017-12-29 | 北京北控建设发展有限公司 | 建设项目监管系统 |
| CN111737234A (zh) * | 2020-07-16 | 2020-10-02 | 中国能源建设集团湖南省电力设计院有限公司 | 一种多源融合的多平台能源信息管理系统 |
| US11074533B1 (en) * | 2020-10-12 | 2021-07-27 | Cognizant Technology Solutions India Pvt. Ltd. | System and method for creating an optimized actionable interface for data access and visualization |
| CN113722747A (zh) * | 2021-11-02 | 2021-11-30 | 湖北交投智能检测股份有限公司 | 一种公路水运工程试验检测大数据系统和预警方法 |
-
2022
- 2022-04-20 CN CN202210413174.5A patent/CN114528314B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731791A (zh) * | 2013-12-18 | 2015-06-24 | 东阳艾维德广告传媒有限公司 | 一种市场销售分析数据集市系统 |
| CN108510248A (zh) * | 2018-04-08 | 2018-09-07 | 广东新康博思信息技术有限公司 | 一种全面监控的建设项目环境审批系统 |
| CN109189826A (zh) * | 2018-08-14 | 2019-01-11 | 北京新广视通科技有限公司 | 一种基于大数据的政务服务系统 |
| CN109190981A (zh) * | 2018-09-04 | 2019-01-11 | 温州大学 | 基于灰色关联度的球形阀体装配质量评价方法 |
| CN110287249A (zh) * | 2019-06-17 | 2019-09-27 | 中电科大数据研究院有限公司 | 一种基于微服务架构的服务系统 |
| CN113240403A (zh) * | 2021-06-10 | 2021-08-10 | 周明升 | 一种基于多源数据的工程建设项目管理系统和方法 |
| CN114092024A (zh) * | 2021-09-29 | 2022-02-25 | 深圳市永兴元科技股份有限公司 | 投资项目全流程管理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114528314A (zh) | 2022-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112395170A (zh) | 智能故障分析方法、装置、设备及存储介质 | |
| CN113360722B (zh) | 一种基于多维数据图谱的故障根因定位方法及系统 | |
| CN109858886B (zh) | 一种基于集成学习的费控成功率提升分析方法 | |
| CN111563606A (zh) | 一种设备预测性维护方法及装置 | |
| CN112417700B (zh) | Eh油站基于状态评价的故障诊断系统 | |
| CN115809183A (zh) | 基于知识图谱的信创终端故障发现及处置的方法 | |
| CN114528314B (zh) | 一种工程建设项目监管系统及方法 | |
| CN110647447A (zh) | 用于分布式系统的异常实例检测方法、装置、设备和介质 | |
| CN117194919A (zh) | 一种生产数据分析系统 | |
| CN111625428A (zh) | 监控Java应用程序运行状态的方法、系统、设备和存储介质 | |
| CN113064873B (zh) | 一种高召回率的日志异常检测方法 | |
| CN114201328A (zh) | 基于人工智能的故障处理方法、装置、电子设备及介质 | |
| CN113628024A (zh) | 基于大数据平台系统的财务数据智能稽核系统及方法 | |
| CN116361059B (zh) | 一种银行业务异常根因诊断方法及诊断系统 | |
| CN112381242A (zh) | 核电站设备维修项目数据处理方法及系统 | |
| CN115438093A (zh) | 一种电力通信设备故障判断方法与检测系统 | |
| CN110008245B (zh) | 一个适用于设备故障预警模型时间段查找的方法 | |
| CN113919609A (zh) | 一种配电网模型质量综合评估方法和系统 | |
| CN111612302A (zh) | 一种集团级数据管理方法和设备 | |
| CN116862297A (zh) | 一种核电厂指标信息系统的设计方法 | |
| Li et al. | An Empirical Study of the Bug Link Rate | |
| CN118041678A (zh) | 一种自动化日志合规检测方法 | |
| CN117271350A (zh) | 一种基于日志分析的软件质量评估系统及方法 | |
| CN114997438A (zh) | 一种仪表系统失效率计算方法及失效率数据库系统 | |
| CN116431435A (zh) | 异常指标数据监控方法、介质、装置和计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220708 |