CN117011583B - 一种基于特征数据聚类分析的状态评估方法及系统 - Google Patents
一种基于特征数据聚类分析的状态评估方法及系统 Download PDFInfo
- Publication number
- CN117011583B CN117011583B CN202310658670.1A CN202310658670A CN117011583B CN 117011583 B CN117011583 B CN 117011583B CN 202310658670 A CN202310658670 A CN 202310658670A CN 117011583 B CN117011583 B CN 117011583B
- Authority
- CN
- China
- Prior art keywords
- embankment
- data
- dike
- real
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 57
- 238000007621 cluster analysis Methods 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims abstract description 96
- 238000010586 diagram Methods 0.000 claims abstract description 90
- 230000000007 visual effect Effects 0.000 claims abstract description 82
- 230000036541 health Effects 0.000 claims abstract description 80
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 73
- 238000003745 diagnosis Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 33
- 230000002452 interceptive effect Effects 0.000 claims abstract description 31
- 238000003066 decision tree Methods 0.000 claims abstract description 21
- 238000012876 topography Methods 0.000 claims description 58
- 239000000523 sample Substances 0.000 claims description 43
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000009826 distribution Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 30
- 239000002689 soil Substances 0.000 claims description 29
- 230000003993 interaction Effects 0.000 claims description 25
- 238000007781 pre-processing Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 16
- 238000000547 structure data Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 8
- 230000010354 integration Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 5
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 description 34
- 238000000638 solvent extraction Methods 0.000 description 19
- 230000009286 beneficial effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000007726 management method Methods 0.000 description 9
- 238000007405 data analysis Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000002349 favourable effect Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000005728 strengthening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000036642 wellbeing Effects 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及堤防评价技术领域,尤其涉及一种基于特征数据聚类分析的状态评估方法及系统,该方法包括以下步骤:利用工程测量仪器以及无人机获取堤防多源数据,根据堤防多源数据生成堤防实时地貌数据集;根据堤防实时地貌数据集利用矩阵分解法进行视觉投影,生成堤防实时地貌矩阵投影图;利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,生成堤防多因子单元区域群组;利用可视化视图工具对堤防多因子单元区域群组进行可交互式视图处理;基于根据堤防卷积特征模型以及堤防实时地貌矩阵投影图,利用集成学习梯度提升决策树算法进行模型驱动建模,以构建堤防健康诊断模型,本发明实现了对堤防全方位,多层次的健康评价。
Description
技术领域
本发明涉及堤防安全技术领域,尤其涉及一种基于特征数据聚类分析的状态评估方法及系统。
背景技术
为了确保堤防的安全,专家经常需要评估堤防的健康状况,及时发现可能存在的风险隐患并采取措施加以修复,基于特征数据聚类分析的状态评估方法和健康诊断系统可以堤防进行细致的评估和分类,通过多因子单元区划分法通过梳理多个因素及其内在关系,得到各个因素的权重和影响程度,从而了解堤防的整体特点及存在的问题,为制定解决方案提供参考依据。在堤防评价中,多因子单元区划分法是将整个堤防研究区域划分为多个具有代表性的单元,以方便深入分析研究区域内部差异和实时地貌对堤防影响的不均衡性,通过梳理各种影响因素并找出各项因素之间的相互关系,排除影响因素之间的冗余与干扰,大大提高了数据的处理效率和精度,同时,利用计算机模拟和深度学习的技术手段进行数据处理和分析,通过构建适当的特征集用于训练分类模型,这些模型能够对不同类型、不同分辨率的数据进行分析和分类,得到堤防当前的健康安全状态,以进一步提出针对性的维护和改进意见,极大提高了数据处理的效率和准确性,由于传统的堤防评价分析方法主要是通过人工评价,效率低、准确性差、个人主观意识偏强,因此,急需一种高效率、高准确性的堤防评价分析方法。
发明内容
本发明为解决上述技术问题,提出了一种基于特征数据聚类分析的状态评估方法及系统,以解决至少一个上述技术问题。
为实现上述目的,一种基于特征数据聚类分析的状态评估方法,所述方法包括以下步骤:
步骤S1:利用工程测量仪器以及无人机获取堤防多源数据,其中堤防多源数据包括堤防高程数据、水文检测数据、堤防结构数据土壤特征数据、以及堤防地形地表数据,根据堤防多源数据生成堤防实时地貌数据集;
步骤S2:根据堤防实时地貌数据集利用矩阵分解法进行视觉投影,生成堤防实时地貌矩阵投影图;
步骤S3:利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,生成堤防多因子单元区域群组;
步骤S4:利用可视化视图工具heatmap对堤防多因子单元区域群组进行可交互式视图处理,生成堤防可交互热力图;
步骤S5:利用超像素卷积网络对堤防可视化热力图进行膨胀卷积及多尺度采样,生成堤防卷积特征模型;
步骤S6:基于根据堤防卷积特征模型以及堤防实时地貌矩阵投影图,利用集成学习梯度提升决策树算法进行模型驱动建模,以构建堤防健康诊断模型。
本发明提供了一种基于特征数据聚类分析的状态评估方法,通过工程测量仪器和无人机获取堤防多源数据,包括堤防高程数据、水文检测数据、堤防结构数据、土壤特征数据以及堤防地形地表数据,为后续步骤提供了完整的数据来源和多种维度的数据信息,从而能够准确地获取堤防的状态信息和地貌数据,并采集全面、精确的数据资料,提高了堤防实时地貌数据集的精度和可靠性,利用矩阵分解法对堤防实时地貌数据集进行视觉投影,可以将堤防实时地貌数据可视化和展示出来,提高了堤防实时数据集的可视化程度,这样的矩阵投影图可视化了多种地形和物理信息,包括土质、河流、缝隙、以及水位等数据,因此可以提供堤防健康诊断的必要视觉支持,利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,可以将堤防实时地貌数据集进行区域分类,发现了堤防内在的结构和特征,并基于这些结构和特征将数据组织成具有相似属性的数据单元,聚类分析可以帮助诊断者更好地理解数据并发现数据隐含结构,利用可视化视图工具heatmap对多因子单元区域群组进行可交互式视图处理生成堤防可交互热力图,可以将多因子单元区域群组数据可视化,提供直观的交互式可视化界面,方便诊断者查看和分析数据,并提供了更加具体和精细的堤防健康安全状态信息,利用超像素卷积网络对堤防可视化热力图进行处理,可提取更细节的特征并提高特征的稳定性,同时对大规模的复杂数据集进行处理时速度更快,通过膨胀卷积及多尺度采样有助于提高该发明的算法性能和效率,这些技术有助于更准确地提取和分类包含在数据集中的特征信息,用堤防实时地貌矩阵投影图和堤防卷积特征模型相结合,并运用集成学习梯度提升决策树算法进行模型驱动建模,实现了对堤防健康诊断的自动化和智能化。
优选地,步骤S1包括以下步骤:
步骤S11:利用激光测距仪以及水文探测仪获取堤防高程数据以及水文检测数据;
步骤S12:利用全站仪、土壤探针以及无人机获取堤防结构数据、土壤特征数据以及堤防地形地表数据;
步骤S13:基于堤防高程数据、水文检测数据、堤防结构数据以及土壤特征数据,利用ETL工具TalendOpenStudio进行堤防异构数据融合,生成堤防多源数据集;
步骤S14:对堤防多源数据集以及堤防地形地表数据进行数据集成,生成堤防实时地貌数据集。
本发明通过激光测距仪和水文探测仪对堤防高程和水文检测数据进行采集,保证了数据获取的准确性和精度,利用全站仪、土壤探针以及无人机对堤防结构、土壤特征以及堤防地形地貌进行了多角度和全面化的采集,补充了堤防异构数据集的不足,提高了数据的综合性和完整性,同时减轻了人工采集的工作量和难度,利用ETL工具TalendOpenStudio对堤防高程、水文检测、堤防结构和土壤特征等多源异构数据进行了融合,具体地说,ETL工具对各种数据格式进行解析和转换,提高了数据的可用性和灵活性,同时有效避免了数据误差等问题,保证了数据的质量,将堤防多源数据集与堤防地形地貌数据进行数据集成,生成堤防实时地貌数数据集,这进一步提高了堤防数据的实时性和有效性,在堤防监测、预警和管理等方面具有重要的应用价值。
优选地,步骤S2包括以下步骤:
步骤S21:根据堤防实时地貌数据集进行数据预处理,包括清洗、整合以及标准化,生成堤防实时地貌预处理管道;
步骤S22:对堤防实时地貌预处理管道进行矩阵划分,生成多个堤防实时地貌数据子矩阵;
步骤S23:利用非负矩阵分解法对堤防实时地貌数据子矩阵进行矩阵分解,生成主成分矩阵以及最小误差矩阵;
步骤S24:根据主成分矩阵以及最小误差矩阵进行特征提取,生成堤防特征权重矩阵;
步骤S25:利用应用视觉投影法对堤防特征权重矩阵进行视觉投影,生成堤防实时地貌矩阵投影图。
本发明通过对堤防实时地貌数据进行清洗、整合和标准化等预处理操作,可以去除数据的噪声和异常值,保证了数据的准确性和可靠性,通过对堤防实时地貌预处理管道进行矩阵划分,可以将大数据集切割成多个子矩阵,分别进行矩阵分解,提高了算法的效率和计算速度,应用非负矩阵分解法对堤防实时地貌数据进行分解,可以将高维度、复杂的数据转换为低维度、简单的主成分矩阵和最小误差矩阵,提取出堤防实时地貌数据最为关键的信息,从而更准确地描述堤防状况,根据主成分矩阵和最小误差矩阵进行特征提取,基于数据的本质特征选取出最具代表性和影响力的特征,生成了堤防特征权重矩阵,进一步挖掘了堤防数据的深层次表征,利用视觉投影法将堤防特征权重矩阵进行视觉化展示,生成了堤防实时地貌矩阵投影图,这不仅直观展示了堤防实时地貌数据的变化趋势和特征分布,也为决策者提供了重要的数据分析支持,为堤防治理和管理提供了科学的依据。
优选地,步骤S3包括以下步骤:
步骤S31:根据堤防实时地貌数据集进行数据指标抽象,获取评价权重因子;
步骤S32:根据评价权重因子利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,获得预设划分单元以及初始单元质心;
步骤S33:对预设划分单元以及初始单元质心进行多因子单元质心距离公式进行计算分析,获取各个预设划分单元与其单元质心的相似度距离;
步骤S34:根据各个预设划分单元与其单元质心的相似度距离进行最近分配划分,更新预设划分单元其所属单元质心;
步骤S35:对更新的预设划分单元所属单元质心进行迭代计算分配划分,直至预设划分单元所属单元质心位置不再改变,获得最终划分单元以及单元质心;
步骤S36:根据最终划分单元以及单元质心进行特征关联处理,生成堤防多因子单元区域群组。
本发明通过堤防实时地貌数据集进行数据指标抽象,获取评价权重因子,通过对堤防监测数据进行分析和挖掘,抽取出反映堤防重要特征的评价指标,为后续的分类和聚类提供了评价依据,基于多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,得到预设划分单元和初始单元质心,能够自动将监测数据划分为多个区域单元,减少人工干预,提高了效率和准确性,根据预设划分单元和初始单元质心计算多因子单元质心距离公式,获取各个预设划分单元与其单元质心的相似度距离,通过计算单元之间的相似度和距离,确定单元间的聚类关系,为后续最近分配划分提供了依据,根据各个预设划分单元与其单元质心的相似度距离进行最近分配划分,更新预设划分单元其所属单元质心,通过最近分配划分法对单元进行迭代更新,实现了对单元质心的提取和更新,使得单元质心更贴近于真实分组结果,对更新的预设划分单元所属单元质心进行迭代计算分配划分,直至预设划分单元所属单元质心位置不再改变,获得最终划分单元以及单元质心,迭代计算分配划分法能够不断优化单元质心的位置,输出稳定的最终划分单元以及单元质心,根据最终划分单元以及单元质心进行特征关联处理,生成堤防多因子单元区域群组,基于特征权重和聚类结果,将监测数据分为多个单元组,形成堤防的多因子单元区域群组,这不仅可以更加细致地分析堤防状态和趋势,还为决策者提供详实的数据支持,为堤防管理和治理提供科学依据;
优选地,步骤S33中的多因子单元质心距离公式具体为:
其中,D为多因子划分单元到单元质心距离,n为多因子划分单元的数量,i为第i个多因子划分单元,wi第i个元素的权重,xi为多因子划分单元中第i个元素,yi为多因子划分单元中第i个元素,|xi-yi|为第i个元素的差值的绝对值,ci为所有多因子划分单元在第i个因子上的均值,|xi-ci|n为第i个因子上多因子划分单元与该因子均值之差的绝对值的n次方,|yi-ci|n为第i个因子上多因子划分单元与该因子均值之差的绝对值的n次方。
本发明通过wi|xi-yi|计算多因子划分单元与单元质心之间每个元素的差值的绝对值与其对应权重的乘积之和,考虑了单元的各个因子权重以及每个因子的均值,通过(wi|xi-ci|n)计算该多因子划分单元与单元质心在第i个因子上的差值的n次方与其对应权重的乘积之和,通过(wi|yi-ci|n)(1/n)计算多因子划分单元在第i个因子上差值的n次方与其对应权重的乘积之和,两者相加后再乘以1/n,包含了各个元素之间的差异和相似性,同时也将单元划分成相似的组别,建立了直观、清晰的分类模型,为数据分析和决策提供了重要依据,公式中的分子部分表示了每个元素的权重对距离的贡献,而分母部分则通过多个因子上的距离值加权平均来计算整体的距离值,分类结果将数据分成多个相似的组别,使得数据可视化效果更加直观清晰,在数据分析和决策过程中提供了更加准确、可解释的分类结果,从而提高了数据分析的质量和效率。
优选地,步骤S4包括以下步骤:
步骤S41:利用可视化视图工具heatmap对堤防多因子单元区域群组进行Python可视化库处理,生成堤防多因子单元可视化视图;
步骤S42:利用基于深度学习算法对堤防多因子单元可视化视图进行特征提取并渲染,生成堤防特征热力图;
步骤S43:利用JavaScript库对堤防特征热力图进行交互化处理,生成堤防可交互热力图,
本发明通过利用可视化视图工具heatmap对堤防多因子单元区域群组进行Python可视化库处理,生成堤防多因子单元可视化视图,能够直观地呈现堤防多因子单元的空间分布情况,让人们更加清晰地了解堤防的结构和特征,有助于进行后续的分析和处理工作,利用基于深度学习算法对堤防多因子单元可视化视图进行特征提取并渲染,生成堤防特征热力图,能够将堤防多因子单元可视化视图中的特征信息提取出来,高亮显示特征分布的区域,让人们更加容易地发现和理解堤防的特点和规律,有助于进行深入的分析和应用,利用JavaScript库对堤防特征热力图进行交互化处理,生成堤防可交互热力图,能够根据用户的需要对堤防特征热力图进行缩放、平移、旋转和标注等操作,让人们更加灵活地探索和分析堤防的特征信息,有助于提高数据的可视化效果和分析的准确性。
优选地,步骤S5包括以下步骤:
步骤S51:将堤防可视化热力图作为数据输入,利用超像素卷积网络对堤防交互热力图进行卷积预处理,生成堤防超像素卷积预处理管道;
步骤S52:基于堤防超像素卷积预处理管道利用超像素算法进行卷积数据切割,生成堤防低维卷积特征图;
步骤S53:根据堤防低维卷积特征图利用膨胀卷积算法进行边缘特征加强处理,生成堤防卷积特征网络;
步骤S54:利用多尺度采样算法对堤防卷积特征网络进行空间金字塔池化多层采样,生成堤防卷积特征序列;
步骤S55:将堤防卷积特征序列作为数据输出,利用超像素卷积网络对堤防卷积特征序列进行基于关联规则的数据挖掘算法建模,生成堤防卷积特征模型。
本发明通过超像素卷积网络对堤防交互热力图进行卷积预处理,能够将堤防热力图中的信息进行有效的提取和优化,避免了数据量过大的问题,提高了数据的分析效率,生成的堤防超像素卷积预处理管道可用于后续的深度学习建模过程,有助于提高模型的训练和表现效果,利用堤防超像素卷积预处理管道进行卷积数据切割,能够将堤防交互热力图中的信息有序地分割成多个部分,降低数据的复杂性和维度,从而减小了模型训练的难度,生成的堤防低维卷积特征图能够更好地表达堤防的特征信息,有助于提高模型的精度和泛化性能,通过膨胀卷积算法进行边缘特征加强处理,可以更加准确地提取出堤防区域的边缘信息,加强图像识别的鲁棒性,生成的堤防卷积特征网络不仅能够准确地检测出边缘特征,还能够发现隐藏在其他性质下的重要特征,有助于提高模型的鲁棒性和泛化性能,多尺度采样算法能够在不丢失重要信息的情况下降低数据的复杂性,得到更加压缩且有效的表示,采用空间金字塔池化多层采样技术可以实现对特征图的多层次抽象和汇总,提高模型对于堤防特征信息的理解和识别准确度,基于关联规则的数据挖掘算法建模,能够发现数据之间的内在关联性,并生成堤防卷积特征模型,该模型不仅可以描述堤防多因素特征的相互作用关系,还能够发现隐藏在堤防特征之中的规律性,从而为堤防的管理和维护提供更加有效和精准的数据支持。
优选地,步骤S54包括以下步骤:
步骤S541:利用多尺度采样算法对堤防卷积特征网络进行空间金字塔池化多层采样,生成堤防多尺度特征图;
步骤S542:对堤防多尺度特征图进行卷积特征映射,生成堤防多尺度向量集;
步骤S543:利用堤防多尺度向量集进行向量拼接,生成堤防卷积特征序列。
本发明通过多尺度采样算法进行空间金字塔池化多层采样,对堤防卷积特征网络进行处理,得到堤防多尺度特征图,这能够提高特征图的稳定性和鲁棒性,同时通过多尺度信息汇总和抽象化,得到了更加全面和准确的特征表示,对堤防多尺度特征图进行卷积特征映射,可以通过模型的学习和训练,对特征进行进一步分离和细化,得到更高级的特征向量,这有助于提高模型的精确性和区分度,同时还降低了特征的维度和稀疏性,提高了特征表达的效率,将堤防多尺度向量集进行向量拼接,可以得到更加丰富和完整的堤防卷积特征序列,这能够有效地捕捉到不同特征之间的协同作用和相互关系,提高模型的泛化能力和鲁棒性,同时还能够对构建的特征序列进行后续处理和分析,实现对堤防多因素特征的智能识别和预测分析。
优选地,步骤S6包括以下步骤:
步骤S61:根据堤防卷积特征模型以及堤防实时地貌矩阵投影图相结合进行特征数据提取,获取堤防实时地貌卷积特征数据;
步骤S62:利用集成学习梯度提升决策树算法对堤防实时地貌卷积特征数据进行组合分类器加权综合计算,生成堤防健康诊断加权模型;
步骤S63:利用贪心算法对堤防健康诊断加权数据进行模型训练,构建堤防特征与健康评估函数模型;
步骤S64:基于堤防特征与健康评估函数模型对堤防健康诊断加权数据利用堆叠模型融合法进行模型驱动建模,以构建堤防健康诊断模型。
本发明通过堤防卷积特征模型和实时地貌矩阵投影图相结合,可以实时提取堤防地形的卷积特征数据,这样的特征提取方式比较准确和全面,能够在一定程度上帮助研究堤防的形态、坡度等特征,从而对堤防的健康状况进行判断和评估,使用集成学习梯度提升决策树算法对堤防实时地貌卷积特征数据进行组合分类器加权综合计算,可以有效提高模型的准确性和鲁棒性,加权模型能够对多种分类器进行综合权衡,得到更准确的分类结果,有助于确保决策的正确性,通过利用贪心算法对堤防健康诊断加权数据进行模型训练,可以得到堤防特征与健康评估函数模型,这种模型通过将多种特征数据进行整合和分析,能够发现特征之间的相互作用和规律,为后续的分类和预测任务提供了有效的依据使用堆叠模型融合法对堤防健康诊断加权数据进行模型驱动建模,可以进一步提高模型的分类准确性和鲁棒性,堆叠模型通过层层叠加多个分类器,可以将它们的优点进行整合和利用,从而得到更加强大的分类器,有助于提升模型的性能和精度,最终,构建的堤防健康诊断模型能够有效的判断和评估堤防的健康状况,为保障堤防安全提供了有力支持。
优选地,步骤S62包括以下步骤:
步骤S621:对堤防实时地貌卷积特征数据进行组合分解,生成堤防特征数据样本集;
步骤S622:利用初始基分类器对堤防特征数据样本集进行权重初始化,生成初始等价权重数值;
步骤S623:利用集成学习梯度提升决策树算法对初始等价权重数值进行样本预测计算,生成权重残差数据;
步骤S624:利用基分类器对权重残差数据进行拟合,生成权重拟合残差数据;
步骤S625:基于权重拟合残差数据利用基分类器进行权重分配,生成组合分类器权重数据;
步骤S626:基于组合分类器权重数据利用组合分类器加权综合计算公式对堤防实时地貌卷积特征数据进行计算分析,生成堤防健康诊断加权模型。
本发明通过堤防实时地貌卷积特征数据进行组合分解,生成堤防特征数据样本集,有助于从多个角度全面了解堤防的特征和状态,提升模型预测准确性,利用初始基分类器对堤防特征数据样本集进行权重初始化,生成初始等价权重数值,能够对样本进行初步排序和筛选,减小分类器计算开销和提高特征的重要性,利用集成学习梯度提升决策树算法对初始等价权重数值进行样本预测计算,生成权重残差数据,能够根据样本预测结果的误差大小更新权重值,提高模型的分类准确性和鲁棒性,利用基分类器对权重残差数据进行拟合,生成权重拟合残差数据,能够对残差数据进行拟合和优化,提高模型的泛化能力和稳定性,基于权重拟合残差数据利用基分类器进行权重分配,生成组合分类器权重数据,能够对分类器的决策能力进行调整和优化,基于组合分类器权重数据利用组合分类器加权综合计算公式对堤防实时地貌卷积特征数据进行计算分析,生成堤防健康诊断加权模型,能够准确的识别和评估堤防的健康状况,为堤防的安全运行提供有力的支持和依据。
优选地,步骤S626中的组合分类器加权综合计算公式具体为:
其中,f(x)为组合分类器权重系数,n为基分类器的数量,ti为第i个基分类器在组合分类器中的权重,hi为第i个基分类器对权重的预测值,(x)为输入初始基分类器的样本值,m为基分类器对结果值的预测结果的和,vi为第i个基分类器对结果值的预测结果,gi为第i个基分类器对结果值的实际结果,N为分类结果的数量,vjk为第j个基分类器对第k个基分类器的权重,hk为第k个基分类器对样本的分类结果。
本发明通过输入样本,计算其对样本的预测结果,通过Wihi(x)计算基分类器在组合分类器中的权重,通过vigi使用基分类器基于测试数据集的实际结果计算每个分类器的分类结果,通过计算每个类别样本所有的权重和,对于每个类别的样本,将所有基分类器的预测结果hk再乘以第j个任一基分类器的权重,得到每个类别样本所有的权重和,利用多个基分类器对样本进行分析取决策,可以将不同分类器的优点进行整合,提高了分类器的准确性,采用加权综合计算公式能够避免一个分类器对某种特定情况过分适应而导致的过拟合风险,避免了过度拟合的风险,利用基分类器对样本进行筛选和预测,可以加快分类器的运算速度,提高分类器的效率。
附图说明
图1为本发明一种基于特征数据聚类分析的状态评估方法的步骤流程示意图;
图2为步骤S1的详细实施步骤流程示意图;
图3为步骤S2的详细实施步骤流程示意图。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本申请实例提供一种基于特征数据聚类分析的状态评估方法及系统。所述基于特征数据聚类分析的状态评估方法及系统的执行主体包括但不限于搭载该系统的:机械设备、数据处理平台、云服务器节点、网络传输设备等可看作本申请的通用计算节点,所述数据处理平台包括但不限于:音频图像管理系统、信息管理系统、云端数据管理系统至少一种。
请参阅图1至图3,本发明提供了一种基于特征数据聚类分析的状态评估方法,所述方法包括以下步骤:
步骤S1:利用工程测量仪器以及无人机获取堤防多源数据,其中堤防多源数据包括堤防高程数据、水文检测数据、堤防结构数据土壤特征数据、以及堤防地形地表数据,根据堤防多源数据生成堤防实时地貌数据集;
步骤S2:根据堤防实时地貌数据集利用矩阵分解法进行视觉投影,生成堤防实时地貌矩阵投影图;
步骤S3:利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,生成堤防多因子单元区域群组;
步骤S4:利用可视化视图工具heatmap对堤防多因子单元区域群组进行可交互式视图处理,生成堤防可交互热力图;
步骤S5:利用超像素卷积网络对堤防可视化热力图进行膨胀卷积及多尺度采样,生成堤防卷积特征模型;
步骤S6:基于根据堤防卷积特征模型以及堤防实时地貌矩阵投影图,利用集成学习梯度提升决策树算法进行模型驱动建模,以构建堤防健康诊断模型。
本发明提供了一种基于特征数据聚类分析的状态评估方法,通过工程测量仪器和无人机获取堤防多源数据,包括堤防高程数据、水文检测数据、堤防结构数据、土壤特征数据以及堤防地形地表数据,为后续步骤提供了完整的数据来源和多种维度的数据信息,从而能够准确地获取堤防的状态信息和地貌数据,并采集全面、精确的数据资料,提高了堤防实时地貌数据集的精度和可靠性,利用矩阵分解法对堤防实时地貌数据集进行视觉投影,可以将堤防实时地貌数据可视化和展示出来,提高了堤防实时数据集的可视化程度,这样的矩阵投影图可视化了多种地形和物理信息,包括土质、河流、缝隙、以及水位等数据,因此可以提供堤防健康诊断的必要视觉支持,利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,可以将堤防实时地貌数据集进行区域分类,发现了堤防内在的结构和特征,并基于这些结构和特征将数据组织成具有相似属性的数据单元,聚类分析可以帮助诊断者更好地理解数据并发现数据隐含结构,利用可视化视图工具heatmap对多因子单元区域群组进行可交互式视图处理生成堤防可交互热力图,可以将多因子单元区域群组数据可视化,提供直观的交互式可视化界面,方便诊断者查看和分析数据,并提供了更加具体和精细的堤防健康安全状态信息,利用超像素卷积网络对堤防可视化热力图进行处理,可提取更细节的特征并提高特征的稳定性,同时对大规模的复杂数据集进行处理时速度更快,通过膨胀卷积及多尺度采样有助于提高该发明的算法性能和效率,这些技术有助于更准确地提取和分类包含在数据集中的特征信息,用堤防实时地貌矩阵投影图和堤防卷积特征模型相结合,并运用集成学习梯度提升决策树算法进行模型驱动建模,实现了对堤防健康诊断的自动化和智能化。
本发明实施例中,参考图1所述,为本发明一种基于特征数据聚类分析的状态评估方法的步骤流程示意图,所述基于特征数据聚类分析的状态评估方法的步骤包括:
步骤S1:利用工程测量仪器以及无人机获取堤防多源数据,其中堤防多源数据包括堤防高程数据、水文检测数据、堤防结构数据土壤特征数据、以及堤防地形地表数据,根据堤防多源数据生成堤防实时地貌数据集;
在本发明实施例中,利用激光测距仪以及水文探测仪获取堤防高程数据以及水文检测数据,包括防的坐标值、高程值、温度、湿度、气压、雨量、水位、流量,并将其转换为数字化数据,利用全站仪、土壤探针以及无人机获取堤防结构数据、土壤特征数据以及堤防地形地表数据,包括堤防坝体形态、裂缝、非均匀沉降,土壤类型、密度、透水性、含水率高程、坡度、坡向、地表覆盖类型,并将其转换为数字化数据,将获取的堤防多源数据整合进行处理,生成堤防实时地貌数据集,利用数据融合、分析、挖掘等技术对数据集进行处理,提取特征、补充缺失值、去除异常值等。最终可以得到能够实时反映堤防地貌状况的数据集。
步骤S2:根据堤防实时地貌数据集利用矩阵分解法进行视觉投影,生成堤防实时地貌矩阵投影图;
在本发明实施例中,将堤防实时地貌数据集转化为矩阵形式,建立数学模型,用SVD矩阵分解法对堤防实时地貌数据集进行分解和降维,得到主要成分和特征空间,对分解后的矩阵进行可视化处理,将主要成分和特征空间映射为投影图,根据投影图,将堤防实时地貌数据集的主要特征以可视化的方式呈现,生成二维或三维的热力图、等高线图、立体图等,可通过增加或减小数据集的特征和参数,对堤防实时地貌矩阵投影图进行参数调整,提高投影效果用矩阵分解法及其他相应技术方法,可以将堤防实时地貌数据集进行可视化处理,生成堤防实时地貌矩阵投影图,并通过参数调整等方式提高投影效果,生成的堤防实时地貌矩阵投影图可以帮助监测和预警相关的地貌变化,提升堤防的防护和安全性。
步骤S3:利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,生成堤防多因子单元区域群组;
在本发明实施例中,利用堤防实时地貌数据集进行预处理,包括数据清洗、特征提取、归一化等,处理后得到符合多因子单元区划分的数据集,通过多因子单元区划分分析,将得到的堤防实时地貌数据集进行聚类分析,将数据集的不同数据特征按照一定的分组标准进行划分,得到不同的多因子单元区域群组,通过图表等形式将聚类分析的结果进行展示,将堤防实时地貌数据集中处于同一多因子单元区域群组中的数据点集合起来,形成类间差异较小、类内差异较大的不同聚类组,生成堤防多因子单元区域群组,展现不同聚类组之间的差异性,分析每一个多因子单元区域群组之间的差异性、区别性,探讨其差异性的原因和影响因素,并结合实际情况对其进行评估。
步骤S4:利用可视化视图工具heatmap对堤防多因子单元区域群组进行可交互式视图处理,生成堤防可交互热力图;
在本发明实施例中,利用多因子单元区划分法得到堤防的多因子单元区域群组,建立起不同区域群组和对应参数值之间的数据关系,以热力图为基础,利用可视化视图工具heatmap对堤防多因子单元区域群组进行可交互式视图处理,生成堤防可交互热力图,在堤防可交互热力图中,不同颜色表示不同的数据强度,颜色的深浅表示数据强度的大小和差异,通过堤防可交互热力图实现数据的交互功能,实时反映堤防地貌变化信息,用户可以对堤防实时地貌数据集进行查看、编辑、搜索等操作,实现对数据的交互式分析、评估、管理和预警。
步骤S5:利用超像素卷积网络对堤防可视化热力图进行膨胀卷积及多尺度采样,生成堤防卷积特征模型;
在本发明实施例中,获取堤防可视化热力图,对堤防热力图进行预处理,包括缩放、旋转、裁剪等调整,以得到适合网络模型处理的图像数据,利用超像素分割算法将预处理后的热力图划分为多个超像素块,减少图像中细节信息的损失,保证图像区域划分的准确性,采用膨胀卷积及多尺度采样的方法,对超像素块进行图像特征提取处理,其中,膨胀卷积可用于提取局部特征并扩张区域,多尺度采样可以在尽量保留图像信息的情况下有效减少模型需要处理的数据量,方便网络模型更好地识别和分类,利用图像处理和深度学习技术,构建堤防卷积特征模型,将处理后的超像素块输入到神经网络中,模型包括多层卷积层、池化层、全连接层等,以得到更加准确和鲁棒的特征表示,选定合适的损失函数、优化函数等系数,根据训练集与验证集的分布与特征,对网络模型进行训练,同时,对网络参数和结构进行优化和调整,生成堤防卷积特征模型,使网络模型性能得到最大化的提升。
步骤S6:基于根据堤防卷积特征模型以及堤防实时地貌矩阵投影图,利用集成学习梯度提升决策树算法进行模型驱动建模,以构建堤防健康诊断模型;
在本发明实施例中,根据所构建的堤防卷积特征模型,将堤防可视化热力图中的不同位置、区域特征映射为卷积特征,根据生成的堤防实时地貌矩阵投影图,将对应位置的地貌数据特征提取出来,作为堤防健康诊断模型的输入特征,利用基于集成学习的梯度提升决策树算法,按照一定的训练集合验证集划分、交叉验证等步骤进行模型驱动建模,得到堤防健康诊断模型,将所得到的堤防健康诊断模型应用于实际的堤防健康状况预测和诊断中,通过对堤防卷积特征模型和实时地貌数据进行分析,并结合训练好的模型,对堤防监测的健康状况进行诊断,并对相应堤防区域采取相应的预防和保护措施,保障堤防的稳定性和安全性。
本发明实施例中,参考图2所述,为步骤S1的详细实施步骤流程示意图,在本说明书的一个实施例中,所述步骤S1的详细实施步骤包括:
步骤S11:利用激光测距仪以及水文探测仪获取堤防高程数据以及水文检测数据;
步骤S12:利用全站仪、土壤探针以及无人机获取堤防结构数据、土壤特征数据以及堤防地形地表数据;
步骤S13:基于堤防高程数据、水文检测数据、堤防结构数据以及土壤特征数据,利用ETL工具TalendOpenStudio进行堤防异构数据融合,生成堤防多源数据集;
步骤S14:对堤防多源数据集以及堤防地形地表数据进行数据集成,生成堤防实时地貌数据集。
本发明通过激光测距仪和水文探测仪对堤防高程和水文检测数据进行采集,保证了数据获取的准确性和精度,利用全站仪、土壤探针以及无人机对堤防结构、土壤特征以及堤防地形地貌进行了多角度和全面化的采集,补充了堤防异构数据集的不足,提高了数据的综合性和完整性,同时减轻了人工采集的工作量和难度,利用ETL工具TalendOpenStudio对堤防高程、水文检测、堤防结构和土壤特征等多源异构数据进行了融合,具体地说,ETL工具对各种数据格式进行解析和转换,提高了数据的可用性和灵活性,同时有效避免了数据误差等问题,保证了数据的质量,将堤防多源数据集与堤防地形地貌数据进行数据集成,生成堤防实时地貌数数据集,这进一步提高了堤防数据的实时性和有效性,在堤防监测、预警和管理等方面具有重要的应用价值。
在本发明实施例中,利用激光测距仪以及水文探测仪获取堤防高程数据以及水文检测数据,包括堤防的坐标值、高程值、温度、湿度、气压、雨量、水位、流量,并将其转换为数字化数据,利用全站仪、土壤探针以及无人机获取堤防结构数据、土壤特征数据以及堤防地形地表数据,包括堤防坝体形态、裂缝、非均匀沉降,土壤类型、密度、透水性、含水率高程、坡度、坡向、地表覆盖类型,并将其转换为数字化数据,将获取的堤防多源数据整合进行处理,生成堤防实时地貌数据集,通过ETL工具TalendOpenStudio对堤防高程数据、水文检测数据、堤防结构数据以及土壤特征数据进行异构数据融合,包括数据清洗、数据分类、数据匹配、数据整合等处理,得到堤防多源数据集,通过异构数据融合,将来自不同数据源的数据进行整合,提高数据质量和数据完整性,对堤防多源数据集以及堤防地形地表数据进行数据集成,将不同数据源的数据进行组合、匹配、关联和整合处理,生成堤防实时地貌数据集,以便于后续的地形分析和安全预警。
本发明实施例中,参考图2所述,为步骤S2的详细实施步骤流程示意图,在本说明书的一个实施例中,所述步骤S2的详细实施步骤包括:
步骤S21:根据堤防实时地貌数据集进行数据预处理,包括清洗、整合以及标准化,生成堤防实时地貌预处理管道;
步骤S22:对堤防实时地貌预处理管道进行矩阵划分,生成多个堤防实时地貌数据子矩阵;
步骤S23:利用非负矩阵分解法对堤防实时地貌数据子矩阵进行矩阵分解,生成主成分矩阵以及最小误差矩阵;
步骤S24:根据主成分矩阵以及最小误差矩阵进行特征提取,生成堤防特征权重矩阵;
步骤S25:利用应用视觉投影法对堤防特征权重矩阵进行视觉投影,生成堤防实时地貌矩阵投影图。
本发明通过对堤防实时地貌数据进行清洗、整合和标准化等预处理操作,可以去除数据的噪声和异常值,保证了数据的准确性和可靠性,通过对堤防实时地貌预处理管道进行矩阵划分,可以将大数据集切割成多个子矩阵,分别进行矩阵分解,提高了算法的效率和计算速度,应用非负矩阵分解法对堤防实时地貌数据进行分解,可以将高维度、复杂的数据转换为低维度、简单的主成分矩阵和最小误差矩阵,提取出堤防实时地貌数据最为关键的信息,从而更准确地描述堤防状况,根据主成分矩阵和最小误差矩阵进行特征提取,基于数据的本质特征选取出最具代表性和影响力的特征,生成了堤防特征权重矩阵,进一步挖掘了堤防数据的深层次表征,利用视觉投影法将堤防特征权重矩阵进行视觉化展示,生成了堤防实时地貌矩阵投影图,这不仅直观展示了堤防实时地貌数据的变化趋势和特征分布,也为决策者提供了重要的数据分析支持,为堤防治理和管理提供了科学的依据。
本发明实施例中,据堤防实时地貌数据集进行数据预处理,包括数据清洗、数据整合以及数据标准化等处理,生成堤防实时地貌预处理管道,数据清洗包括数据去噪、数据补缺等处理,数据整合包括数据匹配、数据关联等处理,数据标准化包括数据归一化、标准化等处理,堤防实时地貌预处理管道进行矩阵划分,根据划分规则将预处理数据矩阵划分为多个堤防实时地貌数据子矩阵,矩阵划分可根据地域区分、时间区分、特征区分等规则进行,划分后的子矩阵有利于针对性地进行分析、建模和预测,利用非负矩阵分解法对堤防实时地貌数据子矩阵进行矩阵分解,将矩阵分解为主成分矩阵和最小误差矩阵,非负矩阵分解法可以在处理高维数据时保持数据的非负性和稀疏性,且对公式的求解效率较高,有利于提高数据的计算效率和稳定性,根据主成分矩阵以及最小误差矩阵进行特征提取,提取主要的地貌特征信息,生成堤防特征权重矩阵,特征提取可以利用主成分分析法、独立成分分析法等数据分析方法,有效地提取重要地貌特征,为后续的地形分析和安全预警提供有力的支持,利用视觉投影法对堤防特征权重矩阵进行视觉投影,生成堤防实时地貌矩阵投影图。
在本说明书的一个实施例中,步骤S3包括以下步骤:
步骤S31:根据堤防实时地貌数据集进行数据指标抽象,获取评价权重因子;
步骤S32:根据评价权重因子利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,获得预设划分单元以及初始单元质心;
步骤S33:对预设划分单元以及初始单元质心进行多因子单元质心距离公式进行计算分析,获取各个预设划分单元与其单元质心的相似度距离;
步骤S34:根据各个预设划分单元与其单元质心的相似度距离进行最近分配划分,更新预设划分单元其所属单元质心;
步骤S35:对更新的预设划分单元所属单元质心进行迭代计算分配划分,直至预设划分单元所属单元质心位置不再改变,获得最终划分单元以及单元质心;
步骤S36:根据最终划分单元以及单元质心进行特征关联处理,生成堤防多因子单元区域群组。
本发明通过堤防实时地貌数据集进行数据指标抽象,获取评价权重因子,通过对堤防监测数据进行分析和挖掘,抽取出反映堤防重要特征的评价指标,为后续的分类和聚类提供了评价依据,基于多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,得到预设划分单元和初始单元质心,能够自动将监测数据划分为多个区域单元,减少人工干预,提高了效率和准确性,根据预设划分单元和初始单元质心计算多因子单元质心距离公式,获取各个预设划分单元与其单元质心的相似度距离,通过计算单元之间的相似度和距离,确定单元间的聚类关系,为后续最近分配划分提供了依据,根据各个预设划分单元与其单元质心的相似度距离进行最近分配划分,更新预设划分单元其所属单元质心,通过最近分配划分法对单元进行迭代更新,实现了对单元质心的提取和更新,使得单元质心更贴近于真实分组结果,对更新的预设划分单元所属单元质心进行迭代计算分配划分,直至预设划分单元所属单元质心位置不再改变,获得最终划分单元以及单元质心,迭代计算分配划分法能够不断优化单元质心的位置,输出稳定的最终划分单元以及单元质心,根据最终划分单元以及单元质心进行特征关联处理,生成堤防多因子单元区域群组,基于特征权重和聚类结果,将监测数据分为多个单元组,形成堤防的多因子单元区域群组,这不仅可以更加细致地分析堤防状态和趋势,还为决策者提供详实的数据支持,为堤防管理和治理提供科学依据;
本发明实施例中,根据堤防实时地貌数据集,进行数据指标抽象,即将原始数据转换为具有实际物理含义的指标,并通过权重设置方法给每个指标分配权重,得到评价权重因子,数据指标抽象可根据专家经验、数学模型和实验研究等方法进行,权重设置方法可采用层次分析法、熵权法等多种方法选择,根据评价权重因子,利用多因子单元区划分法对堤防实时地貌数据集进行初步聚类分析划分,将数据集划分为多个预设划分单元,初始单元质心是每个预设划分单元的中心点,可根据预设划分单元中的数据计算得到,对预设划分单元以及初始单元质心进行多因子单元质心距离公式进行计算分析,获得各个预设划分单元与其单元质心的相似度距离,多因子单元质心距离公式可根据实际应用场景进行设计和选择,根据各个预设划分单元与其单元质心的相似度距离进行最近分配划分,将每个预设划分单元分配到与其距离最近的单元质心所在的单元中,更新预设划分单元其所属单元质心,对更新的预设划分单元所属单元质心进行迭代计算分配划分,直至预设划分单元所属单元质心位置不再改变,获得最终划分单元以及单元质心,迭代计算可采用高斯-赛德尔迭代法、雅可比迭代法、超松弛迭代法等相关方法进行,根据最终划分单元以及单元质心进行特征关联处理,即根据划分结果对堤防实时地貌数据集进行分类汇总,形成多个堤防多因子单元区域群组,以便进行后续的统计分析和模型建设。
本发明实施例中,步骤中S33多因子单元质心距离公式具体为:
其中,D为多因子划分单元到单元质心距离,n为多因子划分单元的数量,i为第i个多因子划分单元,wi第i个元素的权重,xi为多因子划分单元中第i个元素,yi为多因子划分单元中第i个元素,|xi-yi|为第i个元素的差值的绝对值,ci为所有多因子划分单元在第i个因子上的均值,|xi-ci|n为第i个因子上多因子划分单元与该因子均值之差的绝对值的n次方,|yi-ci|n为第i个因子上多因子划分单元与该因子均值之差的绝对值的n次方。
本发明通过wi|xi-yi|计算多因子划分单元与单元质心之间每个元素的差值的绝对值与其对应权重的乘积之和,考虑了单元的各个因子权重以及每个因子的均值,通过(wi|xi-ci|n)计算该多因子划分单元与单元质心在第i个因子上的差值的n次方与其对应权重的乘积之和,通过(wi|yi-ci|n0(1/n)计算多因子划分单元在第i个因子上差值的n次方与其对应权重的乘积之和,两者相加后再乘以1/n,包含了各个元素之间的差异和相似性,同时也将单元划分成相似的组别,建立了直观、清晰的分类模型,为数据分析和决策提供了重要依据,公式中的分子部分表示了每个元素的权重对距离的贡献,而分母部分则通过多个因子上的距离值加权平均来计算整体的距离值,分类结果将数据分成多个相似的组别,使得数据可视化效果更加直观清晰,在数据分析和决策过程中提供了更加准确、可解释的分类结果,从而提高了数据分析的质量和效率。
在本说明书的一个实施例中,步骤S4包括以下步骤:
步骤S41:利用可视化视图工具heatmap对堤防多因子单元区域群组进行Python可视化库处理,生成堤防多因子单元可视化视图;
步骤S42:利用基于深度学习算法对堤防多因子单元可视化视图进行特征提取并渲染,生成堤防特征热力图;
步骤S43:利用JavaScript库对堤防特征热力图进行交互化处理,生成堤防可交互热力图,
本发明通过利用可视化视图工具heatmap对堤防多因子单元区域群组进行Python可视化库处理,生成堤防多因子单元可视化视图,能够直观地呈现堤防多因子单元的空间分布情况,让人们更加清晰地了解堤防的结构和特征,有助于进行后续的分析和处理工作,利用基于深度学习算法对堤防多因子单元可视化视图进行特征提取并渲染,生成堤防特征热力图,能够将堤防多因子单元可视化视图中的特征信息提取出来,高亮显示特征分布的区域,让人们更加容易地发现和理解堤防的特点和规律,有助于进行深入的分析和应用,利用JavaScript库对堤防特征热力图进行交互化处理,生成堤防可交互热力图,能够根据用户的需要对堤防特征热力图进行缩放、平移、旋转和标注等操作,让人们更加灵活地探索和分析堤防的特征信息,有助于提高数据的可视化效果和分析的准确性,
本发明实施例中,利用Python可视化库处理堤防多因子单元区域群组,使用heatmap工具据需求进行调整,设定不同阈值、颜色和图例生成可视化热力图,利用基于深度学习算法,对堤防多因子单元区域群组的可视化视图进行特征提取并渲染,用渲染技术增强图像的可视化效果,从而生成堤防特征热力图,利用JavaScript库对堤防特征热力图进行交互化处理,添加提示框、选择器、缩放等交互组件进行调整和定制交互效果,生成堤防可交互热力图。
在本说明书的一个实施例中,步骤S5包括以下步骤:
步骤S51:将堤防可视化热力图作为数据输入,利用超像素卷积网络对堤防交互热力图进行卷积预处理,生成堤防超像素卷积预处理管道;
步骤S52:基于堤防超像素卷积预处理管道利用超像素算法进行卷积数据切割,生成堤防低维卷积特征图;
步骤S53:根据堤防低维卷积特征图利用膨胀卷积算法进行边缘特征加强处理,生成堤防卷积特征网络;
步骤S54:利用多尺度采样算法对堤防卷积特征网络进行空间金字塔池化多层采样,生成堤防卷积特征序列;
步骤S55:将堤防卷积特征序列作为数据输出,利用超像素卷积网络对堤防卷积特征序列进行基于关联规则的数据挖掘算法建模,生成堤防卷积特征模型。
本发明通过超像素卷积网络对堤防交互热力图进行卷积预处理,能够将堤防热力图中的信息进行有效的提取和优化,避免了数据量过大的问题,提高了数据的分析效率,生成的堤防超像素卷积预处理管道可用于后续的深度学习建模过程,有助于提高模型的训练和表现效果,利用堤防超像素卷积预处理管道进行卷积数据切割,能够将堤防交互热力图中的信息有序地分割成多个部分,降低数据的复杂性和维度,从而减小了模型训练的难度,生成的堤防低维卷积特征图能够更好地表达堤防的特征信息,有助于提高模型的精度和泛化性能,通过膨胀卷积算法进行边缘特征加强处理,可以更加准确地提取出堤防区域的边缘信息,加强图像识别的鲁棒性,生成的堤防卷积特征网络不仅能够准确地检测出边缘特征,还能够发现隐藏在其他性质下的重要特征,有助于提高模型的鲁棒性和泛化性能,多尺度采样算法能够在不丢失重要信息的情况下降低数据的复杂性,得到更加压缩且有效的表示,采用空间金字塔池化多层采样技术可以实现对特征图的多层次抽象和汇总,提高模型对于堤防特征信息的理解和识别准确度,基于关联规则的数据挖掘算法建模,能够发现数据之间的内在关联性,并生成堤防卷积特征模型,该模型不仅可以描述堤防多因素特征的相互作用关系,还能够发现隐藏在堤防特征之中的规律性,从而为堤防的管理和维护提供更加有效和精准的数据支持。
本发明实施例中,首先将堤防可交互热力图作为数据输入,利用超像素卷积神经网络对其进行卷积预处理,生成堤防超像素卷积预处理管道,具体而言,可以使用深度学习算法中的超像素卷积神经网络,对堤防可交互热力图进行卷积操作,以提取图像的特征信息,并对图像进行分割和预处理,在堤防超像素卷积预处理管道的基础上,使用超像素算法对卷积数据进行切割,以生成堤防低维卷积特征图,在这一步骤中,可以使用一种基于超像素的图像分割算法,对卷积后的堤防热力图进行分割处理,以生成堤防低维卷积特征图,基于堤防低维卷积特征图,可以使用膨胀卷积算法进行边缘特征加强处理,以生成堤防卷积特征网络,具体地,可以采用膨胀卷积神经网络算法,对堤防低维卷积特征图进行扩张处理,以加强分割得到的边缘特征,进一步提高模型的分类和识别能力,使用多尺度采样算法对堤防卷积特征网络进行空间金字塔池化多层采样处理,以生成堤防卷积特征序列,在这一步骤中,可以通过对卷积特征进行多尺度的金字塔池化,将其转化为一系列不同尺度的特征向量序列,最后,将堤防卷积特征序列作为数据输出,利用超像素卷积网络对其进行基于关联规则的数据挖掘算法建模,以生成堤防卷积特征模型。
在本说明书的一个实施例中,步骤S54包括以下步骤:
步骤S541:利用多尺度采样算法对堤防卷积特征网络进行空间金字塔池化多层采样,生成堤防多尺度特征图;
步骤S542:对堤防多尺度特征图进行卷积特征映射,生成堤防多尺度向量集;
步骤S543:利用堤防多尺度向量集进行向量拼接,生成堤防卷积特征序列。
本发明通过多尺度采样算法进行空间金字塔池化多层采样,对堤防卷积特征网络进行处理,得到堤防多尺度特征图,这能够提高特征图的稳定性和鲁棒性,同时通过多尺度信息汇总和抽象化,得到了更加全面和准确的特征表示,对堤防多尺度特征图进行卷积特征映射,可以通过模型的学习和训练,对特征进行进一步分离和细化,得到更高级的特征向量,这有助于提高模型的精确性和区分度,同时还降低了特征的维度和稀疏性,提高了特征表达的效率,将堤防多尺度向量集进行向量拼接,可以得到更加丰富和完整的堤防卷积特征序列,这能够有效地捕捉到不同特征之间的协同作用和相互关系,提高模型的泛化能力和鲁棒性,同时还能够对构建的特征序列进行后续处理和分析,实现对堤防多因素特征的智能识别和预测分析。
本发明实施例中,在堤防卷积特征网络的基础上,利用多尺度采样算法对其进行空间金字塔池化多层采样处理,以生成堤防多尺度特征图,具体而言,可以通过对卷积特征进行多尺度金字塔池化操作,提取不同尺度的特征信息,并将其融合在一起,以生成多尺度的特征图,针对堤防多尺度特征图,可以利用卷积特征映射算法,将其映射到向量空间中,生成堤防多尺度向量集。具体而言,在这一步骤中,可以采用卷积神经网络算法,把堤防多尺度特征图转化为一系列向量,并提取特征,最后可以利用堤防多尺度向量集进行向量拼接,生成堤防卷积特征序列,在这一步骤中,可以将不同尺度的向量通过拼接操作得到一个完整的堤防卷积特征序列,用于后续的数据挖掘算法建模。
在本说明书的一个实施例中,步骤S6包括以下步骤:
步骤S61:根据堤防卷积特征模型以及堤防实时地貌矩阵投影图相结合进行特征数据提取,获取堤防实时地貌卷积特征数据;
步骤S62:利用集成学习梯度提升决策树算法对堤防实时地貌卷积特征数据进行组合分类器加权综合计算,生成堤防健康诊断加权模型;
步骤S63:利用贪心算法对堤防健康诊断加权数据进行模型训练,构建堤防特征与健康评估函数模型;
步骤S64:基于堤防特征与健康评估函数模型对堤防健康诊断加权数据利用堆叠模型融合法进行模型驱动建模,以构建堤防健康诊断模型。
本发明通过堤防卷积特征模型和实时地貌矩阵投影图相结合,可以实时提取堤防地形的卷积特征数据,这样的特征提取方式比较准确和全面,能够在一定程度上帮助研究堤防的形态、坡度等特征,从而对堤防的健康状况进行判断和评估,使用集成学习梯度提升决策树算法对堤防实时地貌卷积特征数据进行组合分类器加权综合计算,可以有效提高模型的准确性和鲁棒性,加权模型能够对多种分类器进行综合权衡,得到更准确的分类结果,有助于确保决策的正确性,通过利用贪心算法对堤防健康诊断加权数据进行模型训练,可以得到堤防特征与健康评估函数模型,这种模型通过将多种特征数据进行整合和分析,能够发现特征之间的相互作用和规律,为后续的分类和预测任务提供了有效的依据使用堆叠模型融合法对堤防健康诊断加权数据进行模型驱动建模,可以进一步提高模型的分类准确性和鲁棒性,堆叠模型通过层层叠加多个分类器,可以将它们的优点进行整合和利用,从而得到更加强大的分类器,有助于提升模型的性能和精度,最终,构建的堤防健康诊断模型能够有效的判断和评估堤防的健康状况,为保障堤防安全提供了有力支持。
本发明实施例中,根据堤防卷积特征模型以及堤防实时地貌矩阵投影图相结合,通过特征数据提取算法,将堤防实时地貌信息转化为卷积特征数据,形成堤防实时地貌卷积特征数据,利用集成学习梯度提升决策树算法,对堤防实时地貌卷积特征数据进行组合分类器加权综合计算,生成堤防健康诊断加权模型,可以采用集成学习算法,通过组合多个决策树算法来提高预测准确性,生成堤防健康诊断加权模型,利用贪心算法对堤防健康诊断加权数据进行模型训练,构建堤防特征与健康评估函数模型,在这一步骤中,可以采用贪心算法来寻找最优化的特征子集,以构建堤防特征与健康评估函数模型,基于堤防特征与健康评估函数模型,对堤防健康诊断加权数据利用堆叠模型融合法进行模型驱动建模,以构建堤防健康诊断模型。
在本说明书的一个实施例中,步骤S62包括以下步骤:
步骤S621:对堤防实时地貌卷积特征数据进行组合分解,生成堤防特征数据样本集;
步骤S622:利用初始基分类器对堤防特征数据样本集进行权重初始化,生成初始等价权重数值;
步骤S623:利用集成学习梯度提升决策树算法对初始等价权重数值进行样本预测计算,生成权重残差数据;
步骤S624:利用基分类器对权重残差数据进行拟合,生成权重拟合残差数据;
步骤S625:基于权重拟合残差数据利用基分类器进行权重分配,生成组合分类器权重数据;
步骤S626:基于组合分类器权重数据利用组合分类器加权综合计算公式对堤防实时地貌卷积特征数据进行计算分析,生成堤防健康诊断加权模型。
本发明通过堤防实时地貌卷积特征数据进行组合分解,生成堤防特征数据样本集,有助于从多个角度全面了解堤防的特征和状态,提升模型预测准确性,利用初始基分类器对堤防特征数据样本集进行权重初始化,生成初始等价权重数值,能够对样本进行初步排序和筛选,减小分类器计算开销和提高特征的重要性,利用集成学习梯度提升决策树算法对初始等价权重数值进行样本预测计算,生成权重残差数据,能够根据样本预测结果的误差大小更新权重值,提高模型的分类准确性和鲁棒性,利用基分类器对权重残差数据进行拟合,生成权重拟合残差数据,能够对残差数据进行拟合和优化,提高模型的泛化能力和稳定性,基于权重拟合残差数据利用基分类器进行权重分配,生成组合分类器权重数据,能够对分类器的决策能力进行调整和优化,基于组合分类器权重数据利用组合分类器加权综合计算公式对堤防实时地貌卷积特征数据进行计算分析,生成堤防健康诊断加权模型,能够准确的识别和评估堤防的健康状况,为堤防的安全运行提供有力的支持和依据。
本发明实施例中,对堤防实时地貌卷积特征数据进行组合分解,采用数据预处理算法,对堤防实时地貌卷积特征数据进行拆分、裁剪等操作,生成包含多个特征数据样本的堤防特征数据样本集,利用初始基分类器对堤防特征数据样本集进行权重初始化,生成初始等价权重数值,在这一步骤中,可以通过基分类器等方法来对不同的样本赋予权重,从而为下一步的权重残差计算做准备,采用梯度提升决策树算法来生成多个不同的分类器,分别对堤防特征数据样本集进行预测计算,得到每个样本所对应的权重残差数据,基于权重拟合残差数据利用基分类器进行权重分配,生成组合分类器权重数据,在这一步骤中,可以采用基分类器等方法来根据权重拟合残差数据进行权重分配,得到最终的组合分类器权重数据,以进行堤防健康诊断加权模型的生成,可以使用组合分类器加权综合计算公式来对堤防实时地貌卷积特征数据进行计算,计算得到堤防健康诊断加权模型,在该模型的基础上进一步进行堤防健康诊断模型的构建。
在本说明书的一个实施例中,步骤S626中的组合分类器加权综合计算公式具体为:
其中,f(x)为组合分类器权重系数,n为基分类器的数量,ti为第i个基分类器在组合分类器中的权重,hi为第i个基分类器对权重的预测值,(x)为输入初始基分类器的样本值,m为基分类器对结果值的预测结果的和,vi为第i个基分类器对结果值的预测结果,gi为第i个基分类器对结果值的实际结果,N为分类结果的数量,vjk为第j个基分类器对第k个基分类器的权重,hk为第k个基分类器对样本的分类结果。
本发明通过输入样本,计算其对样本的预测结果,通过Wihi(x)计算基分类器在组合分类器中的权重,通过vigi使用基分类器基于测试数据集的实际结果计算每个分类器的分类结果,通过计算每个类别样本所有的权重和,对于每个类别的样本,将所有基分类器的预测结果hk再乘以第j个任一基分类器的权重,得到每个类别样本所有的权重和,利用多个基分类器对样本进行分析取决策,可以将不同分类器的优点进行整合,提高了分类器的准确性,采用加权综合计算公式能够避免一个分类器对某种特定情况过分适应而导致的过拟合风险,避免了过度拟合的风险,利用基分类器对样本进行筛选和预测,可以加快分类器的运算速度,提高分类器的效率。
在本说明书的一个实施例中,提供一种适用于堤防评价健康诊断系统,包括:
至少一个处理器;
与至少一个处理器通信连接的存储器;
存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行如上所述的基于特征数据聚类分析的状态评估方法。
该系统利用多因子单元区划分进行堤防健康评价,可以提高堤防的安全性和稳定性,避免发生水灾等灾害事故,保护人民生命财产安全,同时,该系统可以在较短的时间内对大面积的堤防进行排查,大大提高了排查效率,并且可以自动化地执行排查分析过程,降低了人工操作的成本和人员的风险,提高了资源利用效率,此外,该系统可以实时监测和预警堤防隐患的情况,及时采取措施进行修复和加固,有效预防了堤防隐患导致的灾害事故的发生。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在申请文件的等同要件的含义和范围内的所有变化涵括在本发明内。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于特征数据聚类分析的状态评估方法,其特征在于,包括以下步骤:
步骤S1:利用工程测量仪器以及无人机获取堤防多源数据,其中堤防多源数据包括堤防高程数据、水文检测数据、堤防结构数据土壤特征数据、以及堤防地形地表数据,根据堤防多源数据生成堤防实时地貌数据集;
步骤S2:根据堤防实时地貌数据集利用矩阵分解法进行视觉投影,生成堤防实时地貌矩阵投影图;
步骤S3:利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,生成堤防多因子单元区域群组;其中,步骤S3包括:
步骤S31:根据堤防实时地貌数据集进行数据指标抽象,获取评价权重因子;
步骤S32:根据评价权重因子利用多因子单元区划分法对堤防实时地貌数据集进行聚类分析法划分,获得预设划分单元以及初始单元质心;
步骤S33:对预设划分单元以及初始单元质心进行多因子单元质心距离公式进行计算分析,获取各个预设划分单元与其单元质心的相似度距离;
步骤S34:根据各个预设划分单元与其单元质心的相似度距离进行最近分配划分,更新预设划分单元其所属单元质心;
步骤S35:对更新的预设划分单元所属单元质心进行迭代计算分配划分,直至预设划分单元所属单元质心位置不再改变,获得最终划分单元以及单元质心;
步骤S36:根据最终划分单元以及单元质心进行特征关联处理,生成堤防多因子单元区域群组;
其中,多因子单元质心距离公式具体为:
其中,D为多因子划分单元到单元质心距离,n为多因子划分单元的数量,i为第i个多因子划分单元,wi第i个元素的权重,xi为第i个元素中的多因子划分单元,yi为多因子划分单元中第i个元素,|xi-yi|为第i个元素的差值的绝对值,ci为所有多因子划分单元在第i个因子上的均值,|xi-ci|n为第i个因子上多因子划分单元与该因子均值之差的绝对值的n次方,|yi-ci|n为多因子划分单元中第i个元素与该因子均值之差的绝对值的n次方;
步骤S4:利用可视化视图工具heatmap对堤防多因子单元区域群组进行可交互式视图处理,生成堤防可交互热力图;
步骤S5:利用超像素卷积网络对堤防可视化热力图进行膨胀卷积及多尺度采样,生成堤防卷积特征模型;其中,步骤S5包括:
步骤S51:将堤防可视化热力图作为数据输入,利用超像素卷积网络对堤防交互热力图进行卷积预处理,生成堤防超像素卷积预处理管道;
步骤S52:基于堤防超像素卷积预处理管道利用超像素算法进行卷积数据切割,生成堤防低维卷积特征图;
步骤S53:根据堤防低维卷积特征图利用膨胀卷积算法进行边缘特征加强处理,生成堤防卷积特征网络;
步骤S54:利用多尺度采样算法对堤防卷积特征网络进行空间金字塔池化多层采样,生成堤防卷积特征序列;
步骤S55:将堤防卷积特征序列作为数据输出,利用超像素卷积网络对堤防卷积特征序列进行基于关联规则的数据挖掘算法建模,生成堤防卷积特征模型;
步骤S6:基于根据堤防卷积特征模型以及堤防实时地貌矩阵投影图,利用集成学习梯度提升决策树算法进行模型驱动建模,以构建堤防健康诊断模型。
2.根据权利要求1所述的基于特征数据聚类分析的状态评估方法,其特征在于,步骤S1的具体步骤为:
步骤S11:利用激光测距仪以及水文探测仪获取堤防高程数据以及水文检测数据;
步骤S12:利用全站仪、土壤探针以及无人机获取堤防结构数据、土壤特征数据以及堤防地形地表数据;
步骤S13:基于堤防高程数据、水文检测数据、堤防结构数据以及土壤特征数据,利用ETL工具Talend Open Studio进行堤防异构数据融合,生成堤防多源数据集;
步骤S14:对堤防多源数据集以及堤防地形地表数据进行数据集成,生成堤防实时地貌数据集。
3.根据权利要求1所述的基于特征数据聚类分析的状态评估方法,其特征在于,步骤S2的具体步骤为:
步骤S21:根据堤防实时地貌数据集进行数据预处理,包括清洗、整合以及标准化,生成堤防实时地貌预处理管道;
步骤S22:对堤防实时地貌预处理管道进行矩阵划分,生成多个堤防实时地貌数据子矩阵;
步骤S23:利用非负矩阵分解法对堤防实时地貌数据子矩阵进行矩阵分解,生成主成分矩阵以及最小误差矩阵;
步骤S24:根据主成分矩阵以及最小误差矩阵进行特征提取,生成堤防特征权重矩阵;
步骤S25:利用应用视觉投影法对堤防特征权重矩阵进行视觉投影,生成堤防实时地貌矩阵投影图。
4.根据权利要求1所述的基于特征数据聚类分析的状态评估方法,其特征在于,步骤S4的具体步骤为:
步骤S41:利用可视化视图工具heatmap对堤防多因子单元区域群组进行Python可视化库处理,生成堤防多因子单元可视化视图;
步骤S42:利用基于深度学习算法对堤防多因子单元可视化视图进行特征提取并渲染,生成堤防特征热力图;
步骤S43:利用JavaScript库对堤防特征热力图进行交互化处理,生成堤防可交互热力图。
5.根据权利要求1所述的基于特征数据聚类分析的状态评估方法,其特征在于,步骤S54的具体步骤为:
步骤S541:利用多尺度采样算法对堤防卷积特征网络进行空间金字塔池化多层采样,生成堤防多尺度特征图;
步骤S542:对堤防多尺度特征图进行卷积特征映射,生成堤防多尺度向量集;
步骤S543:利用堤防多尺度向量集进行向量拼接,生成堤防卷积特征序列。
6.根据权利要求1所述的基于特征数据聚类分析的状态评估方法,其特征在于,步骤S6的具体步骤为:
步骤S61:根据堤防卷积特征模型以及堤防实时地貌矩阵投影图相结合进行特征数据提取,获取堤防实时地貌卷积特征数据;
步骤S62:利用集成学习梯度提升决策树算法对堤防实时地貌卷积特征数据进行组合分类器加权综合计算,生成堤防健康诊断加权模型;
步骤S63:利用贪心算法对堤防健康诊断加权数据进行模型训练,构建堤防特征与健康评估函数模型;
步骤S64:基于堤防特征与健康评估函数模型对堤防健康诊断加权数据利用堆叠模型融合法进行模型驱动建模,以构建堤防健康诊断模型。
7.根据权利要求6所述的基于特征数据聚类分析的状态评估方法,其特征在于,步骤S62的具体步骤为:
步骤S621:对堤防实时地貌卷积特征数据进行组合分解,生成堤防特征数据样本集;
步骤S622:利用初始基分类器对堤防特征数据样本集进行权重初始化,生成初始等价权重数值;
步骤S623:利用集成学习梯度提升决策树算法对初始等价权重数值进行样本预测计算,生成权重残差数据;
步骤S624:利用基分类器对权重残差数据进行拟合,生成权重拟合残差数据;
步骤S625:基于权重拟合残差数据利用基分类器进行权重分配,生成组合分类器权重数据;
步骤S626:基于组合分类器权重数据利用组合分类器加权综合计算公式对堤防实时地貌卷积特征数据进行计算分析,生成堤防健康诊断加权模型;
其中,组合分类器加权综合计算公式具体为:
其中,f(x)为组合分类器权重系数,n为基分类器的数量,ti为第i个基分类器在组合分类器中的权重,hi为第i个基分类器对权重的预测值,(x)为输入初始基分类器的样本值,m为基分类器对结果值的预测结果的和,vi为第i个基分类器对结果值的预测结果,gi为第i个基分类器对结果值的实际结果,N为分类结果的数量,vjk为第j个基分类器对第k个基分类器的权重,hk为第k个基分类器对样本的分类结果。
8.一种基于特征数据聚类分析的状态评估系统,其特征在于,包括:
至少一个处理器;以及,
与至少一个处理器通信连接的存储器;其中,
存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行如权利要求1至7中任一项所述的基于特征数据聚类分析的状态评估方法,从而构建堤防健康诊断模型,用于诊断堤防的健康安全状态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310658670.1A CN117011583B (zh) | 2023-06-06 | 2023-06-06 | 一种基于特征数据聚类分析的状态评估方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310658670.1A CN117011583B (zh) | 2023-06-06 | 2023-06-06 | 一种基于特征数据聚类分析的状态评估方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117011583A CN117011583A (zh) | 2023-11-07 |
CN117011583B true CN117011583B (zh) | 2024-04-05 |
Family
ID=88560873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310658670.1A Active CN117011583B (zh) | 2023-06-06 | 2023-06-06 | 一种基于特征数据聚类分析的状态评估方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117011583B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117892162A (zh) * | 2024-01-18 | 2024-04-16 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于非负矩阵分解和机器学习的流域径流预报方法 |
CN117853824B (zh) * | 2024-03-04 | 2024-05-07 | 北京国星创图科技有限公司 | 一种基于大数据的3d沙盘投影分析方法 |
CN118088032B (zh) * | 2024-04-26 | 2024-07-23 | 陕西建一建设有限公司 | 一种公路桥梁施工数据智能管理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104902564A (zh) * | 2015-05-29 | 2015-09-09 | 东华大学 | 一种高健壮性和精度的三角形质心定位方法 |
CN109063301A (zh) * | 2018-07-24 | 2018-12-21 | 杭州师范大学 | 一种基于热力图的单幅图像室内物体姿态估计方法 |
CN115994311A (zh) * | 2022-12-20 | 2023-04-21 | 长江勘测规划设计研究有限责任公司 | 一种堤防险情动态评估方法 |
-
2023
- 2023-06-06 CN CN202310658670.1A patent/CN117011583B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104902564A (zh) * | 2015-05-29 | 2015-09-09 | 东华大学 | 一种高健壮性和精度的三角形质心定位方法 |
CN109063301A (zh) * | 2018-07-24 | 2018-12-21 | 杭州师范大学 | 一种基于热力图的单幅图像室内物体姿态估计方法 |
CN115994311A (zh) * | 2022-12-20 | 2023-04-21 | 长江勘测规划设计研究有限责任公司 | 一种堤防险情动态评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117011583A (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117011583B (zh) | 一种基于特征数据聚类分析的状态评估方法及系统 | |
CN111242206B (zh) | 一种基于层次聚类和随机森林的高分辨率海洋水温计算方法 | |
Schneider et al. | Mapping urban areas by fusing multiple sources of coarse resolution remotely sensed data | |
Zhao et al. | Automatic recognition of loess landforms using Random Forest method | |
CN103714148B (zh) | 基于稀疏编码分类的sar图像检索方法 | |
CN113378785A (zh) | 森林类型识别方法及装置 | |
Zorluoglu et al. | Diagnosis of breast cancer using ensemble of data mining classification methods | |
Pardoe et al. | Palaeobotanical experiences of plant diversity in deep time. 2: How to measure and analyse past plant biodiversity | |
Felde et al. | A comparison of novel and traditional numerical methods for the analysis of modern pollen assemblages from major vegetation–landform types | |
Marinelli et al. | An approach based on deep learning for tree species classification in LiDAR data acquired in mixed forest | |
CN117789038B (zh) | 一种基于机器学习的数据处理与识别模型的训练方法 | |
CN116597199A (zh) | 基于机载LiDAR的点云树种分类方法及系统 | |
CN117992861A (zh) | 一种电力数据精准度稽查方法及系统 | |
Zeybek | Inlier point preservation in outlier points removed from the ALS point cloud | |
Mohamadzadeh et al. | Classification algorithms for remotely sensed images | |
Lu et al. | Lightning strike location identification based on 3D weather radar data | |
CN117830381A (zh) | 湖泊面积变化空间分析模型、构建与面积变化预测方法及装置 | |
CN117093890A (zh) | 一种能源资源开发区域生态环境综合评价方法 | |
Marian et al. | Software defect detection using self-organizing maps | |
Wan et al. | Optimized object-based image classification: development of landslide knowledge decision support system | |
Ouchra et al. | Comparing Unsupervised Land Use Classification of Landsat 8 OLI Data Using K-means and LVQ Algorithms in Google Earth Engine: A Case Study of Casablanca. | |
Cuevas et al. | Clustering representative electricity load data using a particle swarm optimization algorithm | |
Sankaran et al. | An automated prediction of remote sensing data of Queensland-Australia for flood and wildfire susceptibility using BISSOA-DBMLA scheme | |
Chu et al. | Performance of Random Forest Classifier for Flood Mapping Using Sentinel-1 SAR Images | |
CN112801028A (zh) | 基于归纳表示学习网络的光谱和空间图高光谱图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |