CN115795353A - 一种基于不均衡数据集的地下金属目标分类方法及系统 - Google Patents
一种基于不均衡数据集的地下金属目标分类方法及系统 Download PDFInfo
- Publication number
- CN115795353A CN115795353A CN202310064110.3A CN202310064110A CN115795353A CN 115795353 A CN115795353 A CN 115795353A CN 202310064110 A CN202310064110 A CN 202310064110A CN 115795353 A CN115795353 A CN 115795353A
- Authority
- CN
- China
- Prior art keywords
- underground metal
- metal target
- sample
- samples
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Geophysics And Detection Of Objects (AREA)
Abstract
本发明公开了一种基于不均衡数据集的地下金属目标分类方法及系统,该方法包括:获取地下金属目标样本数据,构建样本数据库;对样本数据中的各磁场强度数据分别进行特征提取,得到样本特征数据;根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集;利用平衡样本数据集对多个预设的机器学习模型分别进行训练,得到多个地下金属目标分类子模型;集成各个地下金属目标分类子模型,得到最终的地下金属目标分类模型;利用地下金属目标分类模型得到待测的地下金属目标对应的类别。本发明的技术方案在地下金属目标类别不均衡的数据集下,保证了地下金属目标分类的准确率。
Description
技术领域
本发明涉及地下探测技术领域,特别涉及一种基于不均衡数据集的地下金属目标分类方法及系统。
背景技术
伴随地下金属目标探测技术被广泛应用在考古学、探矿、未爆弹探测等诸多领域。要探测的地下掩埋金属目标包括可能对人类造成重大安全隐患的金属目标,如战争遗留的地雷、爆炸物和具有放射性和危害性的金属碎片,另外航空设备坠机、矿井坍塌、地震等意外事故掩埋的重要金属目标也是地下金属目标探测领域的重要探测对象。如何高效、准确的区分这些地下金属目标是亟需解决的问题。其中基于电磁感应原理的瞬变电磁探测技术,通过发射脉冲信号使金属目标物体产生涡流,变化的涡流会进一步产生衰减的感应磁场,通过电磁探测设备接收到地下金属目标的衰减响应,并对该衰减响应信息进一步分析以对地下金属目标进行判别,由于接收到的响应的衰减规律与金属目标的类别相关,因此通过对接收到的衰减响应进行分析便可以对地下金属目标进行分类。
然而,现有的方法构建一个物理模型来模拟地下金属目标产生衰减响应的这一过程,通过利用采集到的衰减响应数据,进一步求得物理模型中的参数信息,然后利用这些参数来对金属目标进行分类。这种方法依赖于建立的物理模型的合理性,现实场景下,一般为复杂的多层非均匀介质,在这种场景下准确的建立一个物理模型来模拟地下金属目标产生衰减响应这一过程是比较困难的,甚至会存在地下介质未知的情况。
而如果可以利用机器学习技术直接对采集到的衰减响应数据进行分析以对地下金属目标进行分类,将不需要物理建模的过程,有利于实现自动化与实时探测。然而,在很多情况下,实际采集到的不同类别的地下金属目标的样本数据量是不均衡的,此时直接利用机器学习方法对不均衡的数据集进行学习,最终会导致对地下金属目标的分类效果很差。比如:在探测未爆弹时,采集到的数据集中某类别的未爆弹样本数据量很小,而其他类别的未爆弹样本数据量很大,此时数据集存在地下金属目标样本数量类别不均衡的问题,若直接利用机器学习方法区分地下金属目标的类别,会使最终其预测结果偏好样本数据量大的地下金属目标的类别。然而,由于不同类别的未爆弹,其后续挖掘处理的方式不同,若预测错误并以错误的方式处理则有可能会造成人员伤亡的情况。
因此,如何解决类别不均衡的问题,并以较高的精度对地下金属目标进行分类是一个亟需解决的问题。
发明内容
本发明提供了一种基于不均衡数据集的地下金属目标分类方法及系统,以解决现有技术所存在的由于类别不均衡造成的目标分类精度低的技术问题。
为解决上述技术问题,本发明提供了如下技术方案:
一方面,本发明提供了一种基于不均衡数据集的地下金属目标分类方法,所述基于不均衡数据集的地下金属目标分类方法包括:
获取地下金属目标样本数据,构建样本数据库;其中,所述样本数据库中的每个地下金属目标样本数据分别包括探测时,掩埋地下金属目标的地上区域内的探测设备根据时序接收到的衰减的磁场强度数据和地下金属目标的类别;
采用预设的特征提取算法对所述样本数据中的各磁场强度数据分别进行特征提取,得到磁场强度衰减规律特征数据,作为相应样本对应的样本特征数据;
对所述样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集;
利用所述平衡样本数据集对多个预设的机器学习模型分别进行训练,得到多个地下金属目标分类子模型;其中,所述地下金属目标分类子模型的输入为样本特征数据,输出为样本特征数据对应的地下金属目标的类别;
集成各个地下金属目标分类子模型,得到最终的地下金属目标分类模型;
利用所述地下金属目标分类模型得到待测的地下金属目标对应的类别。
进一步地,所述磁场强度数据通过指数级间隔的时序进行采样获取。
进一步地,特征提取算法为线性判别分析法、主成分分析法或统计分析法。
进一步地,对所述样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集,包括:
对所述样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,将地下金属目标的类别分为样本数量较少的类别和样本数量较多的类别;其中,样本数量较少的类别指的是样本数量小于预设阈值的类别,样本数量较多的类别指的是样本数量不小于预设阈值的类别;
对样本数量较多的类别对应的样本数据进行欠采样,得到多数类样本;对样本数量较少的类别对应的样本数据进行随机采样,然后生成新样本,并进行过采样,得到少数类样本,通过生成新样本,并进行过采样使得少数类样本数量和多数类样本数量的差异在预设范围内,从而得到多个平衡的样本数据集。
进一步地,所述新样本采用合成少数类过采样SMOTE算法或生成对抗网络算法生成。
进一步地,利用所述平衡样本数据集对多个预设的机器学习模型分别进行训练,包括:
将各平衡样本数据集按照7:3的比例划分训练集和测试集,对于每个预设的机器学习模型,基于所述训练集和所述测试集,利用交叉验证的方法,调整机器学习模型中的参数,获得对应的训练好的地下金属目标分类子模型。
进一步地,所述机器学习模型为逻辑回归模型、决策树模型、支持向量机模型、人工神经网络模型和k近邻模型中的任意一种或多种的组合。
进一步地,所述集成各个地下金属目标分类子模型,包括:
基于相对G-mean加权策略,基于各地下金属目标分类子模型的相对G-mean指标设置各地下金属目标分类子模型的权重,集成各地下金属目标分类子模型。
进一步地,利用所述地下金属目标分类模型得到待测的地下金属目标对应的类别,包括:
在掩埋待测的地下金属目标的地上区域内,利用探测设备实时采集待测的地下金属目标对应的衰减的磁场强度数据;
采用预设的特征提取算法对实时采集到的待测的地下金属目标对应的衰减的磁场强度数据进行特征提取,得到磁场强度衰减规律特征数据;
将得到的磁场强度衰减规律特征数据输入所述地下金属目标分类模型,通过所述地下金属目标分类模型输出待测的地下金属目标对应的类别。
另一方面,本发明还提供了一种基于不均衡数据集的地下金属目标分类系统,所述基于不均衡数据集的地下金属目标分类系统包括:
样本数据库构建模块,用于获取地下金属目标样本数据,构建样本数据库;其中,所述样本数据库中的每个地下金属目标样本数据分别包括探测时,掩埋地下金属目标的地上区域内的探测设备根据时序接收到的衰减的磁场强度数据和地下金属目标的类别;
特征数据提取模块,用于采用预设的特征提取算法对所述样本数据库构建模块所构建的样本数据中的各磁场强度数据分别进行特征提取,得到磁场强度衰减规律特征数据,作为相应样本对应的样本特征数据;
多平衡数据集构建模块,用于对所述样本数据库构建模块所构建的样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集;
多地下金属目标分类子模型训练模块,用于利用所述多平衡数据集构建模块所构建的平衡样本数据集对多个预设的机器学习模型分别进行训练,得到多个地下金属目标分类子模型;其中,所述地下金属目标分类子模型的输入为样本特征数据,输出为样本特征数据对应的地下金属目标的类别;
地下金属目标分类模型集成模块,用于集成各个地下金属目标分类子模型,得到最终的地下金属目标分类模型;
地下金属目标分类模型应用模块,用于利用所述地下金属目标分类模型集成模块得到的地下金属目标分类模型得到待测的地下金属目标对应的类别。
再一方面,本发明还提供了一种电子设备,其包括处理器和存储器;其中,存储器中存储有至少一条指令,所述指令由处理器加载并执行以实现上述方法。
又一方面,本发明还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现上述方法。
本发明提供的技术方案带来的有益效果至少包括:
本发明通过自适应的构建多平衡数据集及多模型的集成,实现了不均衡数据集下的地下金属目标的分类。避免了传统探测方法过程中,由于地下介质环境复杂导致的物理建模困难的问题,而且通过特征提取方法避免了特征冗余以及接收到的磁场强度的噪声对探测精度的影响。另外,解决了数据集中存在的类别不均衡导致直接使用机器学习训练分类效果差的问题。
本发明能够根据数据集中的地下金属目标类别不均衡问题,自适应的构建均衡数据集,并且提出了基于相对G-mean指标的集成策略,该集成策略在不影响多数类分类准确率的前提下提高了少数类样本的分类准确率,而且通过多种模型的集成避免了因单个模型的误选导致的分类泛化性能差的问题,从而实现了高精度的鉴别地下金属目标的类别,采用本发明方案可以在一些特殊金属目标探测领域降低因分类不准导致的人员伤亡及财产损失,具有重大应用前景。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于不均衡数据集的地下金属目标分类方法的执行流程示意图;
图2是本发明实施例提供的基于不均衡数据集的地下金属目标分类系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
第一实施例
本实施例提供了一种基于不均衡数据集的地下金属目标分类方法,该方法可以由电子设备实现,该电子设备可以是终端或者服务器。该基于不均衡数据集的地下金属目标分类方法的执行流程如图1所示,包括以下步骤:
S1,获取地下金属目标样本数据,构建样本数据库;
其中,所述样本数据库中的每个地下金属目标样本数据分别包括探测时,掩埋地下金属目标的地上区域内的探测设备根据时序接收到的衰减的磁场强度数据[s1,s2,…,sn]和地下金属目标的类别y;
可选地,磁场强度数据可通过指数级间隔的时序进行采样获取。
S2,采用预设的特征提取算法对样本数据中的各磁场强度数据分别进行特征提取,得到磁场强度衰减规律特征数据,作为相应样本对应的样本特征数据;
其中,特征提取算法可为线性判别分析法、主成分分析法或统计分析法。
具体地,本实施例采用采用线性判别分析算法提取磁场强度中的特征数据,目标函数可以表示为:
利用拉格朗日乘子法进行求解,可以求得投影矩阵为:
将样本数据中的磁场强度数据经投影矩阵投影后,即可得到特征数据。
S3,对样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集;
进一步地,上述S3的实现过程如下:
对所述样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,将地下金属目标的类别分为样本数量较少的类别和样本数量较多的类别;其中,样本数量较少的类别指的是样本数量小于预设阈值的类别,样本数量较多的类别指的是样本数量不小于预设阈值的类别;
对样本数量较多的类别对应的样本数据进行欠采样,得到多数类样本;对样本数量较少的类别对应的样本数据进行随机采样,然后生成新样本,并进行过采样,得到少数类样本,通过生成新样本,并进行过采样使得少数类样本数量和多数类样本数量的差异在预设范围内,从而得到多个平衡的样本数据集;其中,所述新样本采用SMOTE(SyntheticMinority Oversampling Technique,合成少数类过采样)算法或生成对抗网络算法生成。
具体地,本实施例以的采样率在样本数据库中的原始样本数量大的类别的地下金属样本中随机采样,得到原始数据量较大的类别的地下金属目标对应的多数类样本;以的采样率在样本数据库中的原始样本数量小的类别的地下金属样本中随机采样,然后使用SMOTE算法新生成样本并进行过采样,得到原始数据量较小的类别的地下金属目标对应的少数类样本,直到少数类的地下金属目标的样本数量和多数类地下金属目标的样本数量大致相等。
其中,使用SMOTE算法生成新样本的公式如下:
S4,利用平衡样本数据集对多个预设的机器学习模型分别进行训练,得到多个地下金属目标分类子模型;其中,所述地下金属目标分类子模型的输入为样本特征数据,输出为样本特征数据对应的地下金属目标的类别;
具体地,在本实施例中,上述S4的实现过程如下:
将各平衡样本数据集按照7:3的比例划分训练集和测试集,对于每个预设的机器学习模型,基于所述训练集和所述测试集,利用交叉验证的方法,调整机器学习模型中的参数,获得对应的训练好的地下金属目标分类子模型。
其中,所述机器学习模型为逻辑回归模型、决策树模型、支持向量机模型、人工神经网络模型和k近邻模型中的任意一种或多种的组合。
S5,集成各地下金属目标分类子模型,得到最终的地下金属目标分类模型;
具体地,在本实施例中,集成各地下金属目标分类子模型方法为:基于相对G-mean加权策略,基于各地下金属目标分类子模型的相对G-mean指标设置各地下金属目标分类子模型的权重,集成各地下金属目标分类子模型。
加权集成策略中的权重基于相对G-mean指标作为权重对各地下金属目标分类子模型设置,相对G-mean指标的计算方式如下:
则每个地下金属目标分类子模型的权重设置为:
式中的L表示子模型的个数。
其中G-mean指标衡量少数类的准确率与多数类的准确率的综合指标,G-mean越高,则算法能在不影响多数类分类准确率的前提下提高少数类的分类准确率,即算法对于不平衡数据集的分类效果越好,G-mean值的计算方式如下:
TP、FP、TN和FN分别表示预测结果中真正例、假正例、真反例和假反例的样例个数。
S6,利用所述地下金属目标分类模型得到待测的地下金属目标对应的类别。
具体地,在本实施例中,上述S6的实现过程如下:
在掩埋待测的地下金属目标的地上区域内,利用探测设备实时采集待测的地下金属目标对应的衰减的磁场强度数据;
采用预设的特征提取算法对实时采集到的待测的地下金属目标对应的衰减的磁场强度数据进行特征提取,得到磁场强度衰减规律特征数据;
将得到的磁场强度衰减规律特征数据输入所述地下金属目标分类模型,通过所述地下金属目标分类模型输出待测的地下金属目标对应的类别。
综上,本实施例提供了一种基于不均衡数据集的地下金属目标分类方法,通过自适应的构建多平衡数据集及多模型的集成,实现了不均衡数据集下的地下金属目标的分类。避免了传统探测方法过程中,由于地下介质环境复杂导致的物理建模困难的问题,而且通过特征提取方法避免了特征冗余以及接收到的磁场强度的噪声对探测精度的影响。另外,解决了数据集中存在的类别不均衡导致直接使用机器学习训练分类效果差的问题。
本方法能够根据数据集中的地下金属目标类别不均衡问题,自适应的构建均衡数据集,并且提出了基于相对G-mean指标的集成策略,该集成策略在不影响多数类分类准确率的前提下提高了少数类样本的分类准确率,而且通过多种模型的集成避免了因单个模型的误选导致的分类泛化性能差的问题,从而实现了在数据集不均衡的情况下对地下金属目标的高精度区分,采用本方法可以在一些特殊金属目标探测领域降低因分类不准导致的人员伤亡及财产损失。
第二实施例
本实施例提供了一种基于不均衡数据集的地下金属目标分类系统,该基于不均衡数据集的地下金属目标分类系统的结构如图2所示,包括以下模块:
样本数据库构建模块,用于获取地下金属目标样本数据,构建样本数据库;其中,所述样本数据库中的每个地下金属目标样本数据分别包括探测时,掩埋地下金属目标的地上区域内的探测设备根据时序接收到的衰减的磁场强度数据和地下金属目标的类别;
特征数据提取模块,用于采用预设的特征提取算法对所述样本数据库构建模块所构建的样本数据中的各磁场强度数据分别进行特征提取,得到磁场强度衰减规律特征数据,作为相应样本对应的样本特征数据;
多平衡数据集构建模块,用于对所述样本数据库构建模块所构建的样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集;
多地下金属目标分类子模型训练模块,用于利用所述多平衡数据集构建模块所构建的平衡样本数据集对多个预设的机器学习模型分别进行训练,得到多个地下金属目标分类子模型;其中,所述地下金属目标分类子模型的输入为样本特征数据,输出为样本特征数据对应的地下金属目标的类别;
地下金属目标分类模型集成模块,用于集成各个地下金属目标分类子模型,得到最终的地下金属目标分类模型;
地下金属目标分类模型应用模块,用于利用所述地下金属目标分类模型集成模块得到的地下金属目标分类模型得到待测的地下金属目标对应的类别。
本实施例的基于不均衡数据集的地下金属目标分类系统与上述第一实施例的基于不均衡数据集的地下金属目标分类方法相对应;其中,本实施例的基于不均衡数据集的地下金属目标分类系统中的各功能模块所实现的功能与上述第一实施例的基于不均衡数据集的地下金属目标分类方法中的各流程步骤一一对应;故,在此不再赘述。
第三实施例
本实施例提供一种电子设备,其包括处理器和存储器;其中,存储器中存储有至少一条指令,所述指令由处理器加载并执行,以实现第一实施例的方法。
该电子设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)和一个或一个以上的存储器,其中,存储器中存储有至少一条指令,所述指令由处理器加载并执行上述方法。
第四实施例
本实施例提供一种计算机可读存储介质,该存储介质中存储有至少一条指令,所述指令由处理器加载并执行,以实现上述第一实施例的方法。其中,该计算机可读存储介质可以是ROM、随机存取存储器、CD-ROM、磁带、软盘和光数据存储设备等。其内存储的指令可由终端中的处理器加载并执行上述方法。
此外,需要说明的是,本发明可提供为方法、装置或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是,以上所述是本发明优选实施方式,应当指出,尽管已描述了本发明优选实施例,但对于本技术领域的技术人员来说,一旦得知了本发明的基本创造性概念,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (10)
1.一种基于不均衡数据集的地下金属目标分类方法,其特征在于,包括:
获取地下金属目标样本数据,构建样本数据库;其中,所述样本数据库中的每个地下金属目标样本数据分别包括探测时,掩埋地下金属目标的地上区域内的探测设备根据时序接收到的衰减的磁场强度数据和地下金属目标的类别;
采用预设的特征提取算法对所述样本数据中的各磁场强度数据分别进行特征提取,得到磁场强度衰减规律特征数据,作为相应样本对应的样本特征数据;
对所述样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集;
利用所述平衡样本数据集对多个预设的机器学习模型分别进行训练,得到多个地下金属目标分类子模型;其中,所述地下金属目标分类子模型的输入为样本特征数据,输出为样本特征数据对应的地下金属目标的类别;
集成各个地下金属目标分类子模型,得到最终的地下金属目标分类模型;
利用所述地下金属目标分类模型得到待测的地下金属目标对应的类别。
2.如权利要求1所述的基于不均衡数据集的地下金属目标分类方法,其特征在于,所述磁场强度数据通过指数级间隔的时序进行采样获取。
3.如权利要求1所述的基于不均衡数据集的地下金属目标分类方法,其特征在于,所述特征提取算法为线性判别分析法、主成分分析法或统计分析法。
4.如权利要求1所述的基于不均衡数据集的地下金属目标分类方法,其特征在于,对所述样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集,包括:
对所述样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,将地下金属目标的类别分为样本数量较少的类别和样本数量较多的类别;其中,样本数量较少的类别指的是样本数量小于预设阈值的类别,样本数量较多的类别指的是样本数量不小于预设阈值的类别;
对样本数量较多的类别对应的样本数据进行欠采样,得到多数类样本;对样本数量较少的类别对应的样本数据进行随机采样,然后生成新样本,并进行过采样,得到少数类样本,通过生成新样本,并进行过采样使得少数类样本数量和多数类样本数量的差异在预设范围内,从而得到多个平衡的样本数据集。
5.如权利要求4所述的基于不均衡数据集的地下金属目标分类方法,其特征在于,所述新样本采用合成少数类过采样SMOTE算法或生成对抗网络算法生成。
6.如权利要求1所述的基于不均衡数据集的地下金属目标分类方法,其特征在于,利用所述平衡样本数据集对多个预设的机器学习模型分别进行训练,包括:
将各平衡样本数据集按照7:3的比例划分训练集和测试集,对于每个预设的机器学习模型,基于所述训练集和所述测试集,利用交叉验证的方法,调整机器学习模型中的参数,获得对应的训练好的地下金属目标分类子模型。
7.如权利要求1所述的基于不均衡数据集的地下金属目标分类方法,其特征在于,所述机器学习模型为逻辑回归模型、决策树模型、支持向量机模型、人工神经网络模型和k近邻模型中的任意一种或多种的组合。
8.如权利要求1所述的基于不均衡数据集的地下金属目标分类方法,其特征在于,所述集成各个地下金属目标分类子模型,包括:
基于相对G-mean加权策略,基于各地下金属目标分类子模型的相对G-mean指标设置各地下金属目标分类子模型的权重,集成各地下金属目标分类子模型。
9.如权利要求1所述的基于不均衡数据集的地下金属目标分类方法,其特征在于,利用所述地下金属目标分类模型得到待测的地下金属目标对应的类别,包括:
在掩埋待测的地下金属目标的地上区域内,利用探测设备实时采集待测的地下金属目标对应的衰减的磁场强度数据;
采用预设的特征提取算法对实时采集到的待测的地下金属目标对应的衰减的磁场强度数据进行特征提取,得到磁场强度衰减规律特征数据;
将得到的磁场强度衰减规律特征数据输入所述地下金属目标分类模型,通过所述地下金属目标分类模型输出待测的地下金属目标对应的类别。
10.一种基于不均衡数据集的地下金属目标分类系统,其特征在于,所述基于不均衡数据集的地下金属目标分类系统包括:
样本数据库构建模块,用于获取地下金属目标样本数据,构建样本数据库;其中,所述样本数据库中的每个地下金属目标样本数据分别包括探测时,掩埋地下金属目标的地上区域内的探测设备根据时序接收到的衰减的磁场强度数据和地下金属目标的类别;
特征数据提取模块,用于采用预设的特征提取算法对所述样本数据库构建模块所构建的样本数据中的各磁场强度数据分别进行特征提取,得到磁场强度衰减规律特征数据,作为相应样本对应的样本特征数据;
多平衡数据集构建模块,用于对所述样本数据库构建模块所构建的样本数据库中不同类别地下金属目标的样本数量进行统计,根据不同类别地下金属目标的样本数量,自适应地构建多个平衡样本数据集;
多地下金属目标分类子模型训练模块,用于利用所述多平衡数据集构建模块所构建的平衡样本数据集对多个预设的机器学习模型分别进行训练,得到多个地下金属目标分类子模型;其中,所述地下金属目标分类子模型的输入为样本特征数据,输出为样本特征数据对应的地下金属目标的类别;
地下金属目标分类模型集成模块,用于集成各个地下金属目标分类子模型,得到最终的地下金属目标分类模型;
地下金属目标分类模型应用模块,用于利用所述地下金属目标分类模型集成模块得到的地下金属目标分类模型得到待测的地下金属目标对应的类别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310064110.3A CN115795353B (zh) | 2023-02-06 | 2023-02-06 | 一种基于不均衡数据集的地下金属目标分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310064110.3A CN115795353B (zh) | 2023-02-06 | 2023-02-06 | 一种基于不均衡数据集的地下金属目标分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115795353A true CN115795353A (zh) | 2023-03-14 |
CN115795353B CN115795353B (zh) | 2023-04-21 |
Family
ID=85429848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310064110.3A Active CN115795353B (zh) | 2023-02-06 | 2023-02-06 | 一种基于不均衡数据集的地下金属目标分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115795353B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117609881A (zh) * | 2023-11-29 | 2024-02-27 | 阿童木(广州)智能科技有限公司 | 一种基于人工智能的金属重叠检测方法及系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273926A (zh) * | 2017-06-12 | 2017-10-20 | 大连海事大学 | 一种基于余弦相似度加权的线性判别分析降维方法 |
CN108596246A (zh) * | 2018-04-23 | 2018-09-28 | 浙江科技学院 | 基于深度神经网络的土壤重金属含量检测模型的建立方法 |
CN109359704A (zh) * | 2018-12-26 | 2019-02-19 | 北京邮电大学 | 一种基于自适应平衡集成与动态分层决策的多分类方法 |
CN110097117A (zh) * | 2019-04-30 | 2019-08-06 | 哈尔滨工程大学 | 基于线性判别分析与多元自适应样条的数据分类方法 |
CN111290032A (zh) * | 2020-03-11 | 2020-06-16 | 中国石油大学(华东) | 一种基于电磁的地层金属智能识别装置及识别方法 |
CN112036515A (zh) * | 2020-11-04 | 2020-12-04 | 北京淇瑀信息科技有限公司 | 基于smote算法的过采样方法、装置和电子设备 |
CN112348691A (zh) * | 2020-10-30 | 2021-02-09 | 农业农村部环境保护科研监测所 | 一种原位识别农产品重金属含量潜在超标区域的方法及装置 |
CN112633733A (zh) * | 2020-12-30 | 2021-04-09 | 武汉轻工大学 | 基于可信度的随机森林土壤重金属风险评价方法及系统 |
CN113029619A (zh) * | 2021-02-24 | 2021-06-25 | 北京科技大学 | 基于c4.5决策树算法的地下铲运机故障诊断方法 |
CN113537343A (zh) * | 2021-07-14 | 2021-10-22 | 厦门熵基科技有限公司 | 一种金属分类方法、装置、设备及存储介质 |
CN113702719A (zh) * | 2021-08-03 | 2021-11-26 | 北京科技大学 | 一种基于神经网络的宽带近场电磁定位方法及装置 |
CN114415246A (zh) * | 2022-03-29 | 2022-04-29 | 科大天工智能装备技术(天津)有限公司 | 一种基于机器学习的地下金属物体的定位方法及系统 |
CN114782773A (zh) * | 2022-04-18 | 2022-07-22 | 河钢数字技术股份有限公司 | 基于树型层进网络的不平衡废钢样本判级方法 |
-
2023
- 2023-02-06 CN CN202310064110.3A patent/CN115795353B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273926A (zh) * | 2017-06-12 | 2017-10-20 | 大连海事大学 | 一种基于余弦相似度加权的线性判别分析降维方法 |
CN108596246A (zh) * | 2018-04-23 | 2018-09-28 | 浙江科技学院 | 基于深度神经网络的土壤重金属含量检测模型的建立方法 |
CN109359704A (zh) * | 2018-12-26 | 2019-02-19 | 北京邮电大学 | 一种基于自适应平衡集成与动态分层决策的多分类方法 |
CN110097117A (zh) * | 2019-04-30 | 2019-08-06 | 哈尔滨工程大学 | 基于线性判别分析与多元自适应样条的数据分类方法 |
CN111290032A (zh) * | 2020-03-11 | 2020-06-16 | 中国石油大学(华东) | 一种基于电磁的地层金属智能识别装置及识别方法 |
CN112348691A (zh) * | 2020-10-30 | 2021-02-09 | 农业农村部环境保护科研监测所 | 一种原位识别农产品重金属含量潜在超标区域的方法及装置 |
CN112036515A (zh) * | 2020-11-04 | 2020-12-04 | 北京淇瑀信息科技有限公司 | 基于smote算法的过采样方法、装置和电子设备 |
CN112633733A (zh) * | 2020-12-30 | 2021-04-09 | 武汉轻工大学 | 基于可信度的随机森林土壤重金属风险评价方法及系统 |
CN113029619A (zh) * | 2021-02-24 | 2021-06-25 | 北京科技大学 | 基于c4.5决策树算法的地下铲运机故障诊断方法 |
CN113537343A (zh) * | 2021-07-14 | 2021-10-22 | 厦门熵基科技有限公司 | 一种金属分类方法、装置、设备及存储介质 |
CN113702719A (zh) * | 2021-08-03 | 2021-11-26 | 北京科技大学 | 一种基于神经网络的宽带近场电磁定位方法及装置 |
CN114415246A (zh) * | 2022-03-29 | 2022-04-29 | 科大天工智能装备技术(天津)有限公司 | 一种基于机器学习的地下金属物体的定位方法及系统 |
CN114782773A (zh) * | 2022-04-18 | 2022-07-22 | 河钢数字技术股份有限公司 | 基于树型层进网络的不平衡废钢样本判级方法 |
Non-Patent Citations (3)
Title |
---|
刘昭贤;孟亚宾;: "航空高光谱遥感在重金属土壤污染检测中的应用" * |
李国清;吴炳书;侯杰;王浩;王进强;陈连韫;范纯超: "地下金属矿山采矿成本预测模型" * |
韦敏康;: "地下金属矿山智能化开采综合技术初探" * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117609881A (zh) * | 2023-11-29 | 2024-02-27 | 阿童木(广州)智能科技有限公司 | 一种基于人工智能的金属重叠检测方法及系统 |
CN117609881B (zh) * | 2023-11-29 | 2024-04-30 | 阿童木(广州)智能科技有限公司 | 一种基于人工智能的金属重叠检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115795353B (zh) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110009171B (zh) | 用户行为模拟方法、装置、设备及计算机可读存储介质 | |
CN110010156A (zh) | 基于对事件子部分的序列的建模的声音事件检测 | |
CN111339935B (zh) | 一种基于可解释cnn图像分类模型的光学遥感图片分类方法 | |
CN111738351A (zh) | 模型训练方法、装置、存储介质及电子设备 | |
CN112329816A (zh) | 数据分类方法、装置、电子设备和可读存储介质 | |
CN111522987A (zh) | 一种图像审核方法、设备及计算机可读存储介质 | |
CN111243682A (zh) | 药物的毒性预测方法及装置、介质和设备 | |
CN112215696A (zh) | 基于时序归因分析的个人信用评估与解释方法、装置、设备及存储介质 | |
CN113761259A (zh) | 一种图像处理方法、装置以及计算机设备 | |
CN115795353A (zh) | 一种基于不均衡数据集的地下金属目标分类方法及系统 | |
CN116592993A (zh) | 一种基于深度学习的机械振动故障诊断方法 | |
CN109002810A (zh) | 模型评价方法、雷达信号识别方法及对应装置 | |
CN111695461A (zh) | 一种基于图频特性的雷达杂波智能分类方法 | |
CN114154622A (zh) | 交通运行体系流量数据采集缺失补全的算法模型 | |
CN109800797A (zh) | 基于ai的文件黑白判断方法、装置及设备 | |
CN115484112B (zh) | 支付大数据安全防护方法、系统及云平台 | |
CN116662929A (zh) | 雷达信号识别模型的训练方法以及雷达信号识别方法 | |
CN116430317A (zh) | 一种辐射源调制样式与个体识别方法及系统 | |
CN112433952B (zh) | 深度神经网络模型公平性测试方法、系统、设备及介质 | |
CN112766320B (zh) | 一种分类模型训练方法及计算机设备 | |
CN115713669A (zh) | 一种基于类间关系的图像分类方法、装置、存储介质及终端 | |
Wang et al. | FCM algorithm and index CS for the signal sorting of radiant points | |
CN115278757A (zh) | 一种检测异常数据的方法、装置及电子设备 | |
Sirag et al. | A Review on Intrusion Detection System Using a Machine Learning Algorithms | |
Zhao et al. | Improved GMM‐based method for target detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |