CN116503378A - 一种双模态cnn二次迁移学习的精矿品位等级预测方法 - Google Patents

一种双模态cnn二次迁移学习的精矿品位等级预测方法 Download PDF

Info

Publication number
CN116503378A
CN116503378A CN202310546945.2A CN202310546945A CN116503378A CN 116503378 A CN116503378 A CN 116503378A CN 202310546945 A CN202310546945 A CN 202310546945A CN 116503378 A CN116503378 A CN 116503378A
Authority
CN
China
Prior art keywords
ise
bimodal
model
training
densenet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310546945.2A
Other languages
English (en)
Inventor
廖一鹏
严欣
朱坤华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202310546945.2A priority Critical patent/CN116503378A/zh
Publication of CN116503378A publication Critical patent/CN116503378A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Human Resources & Organizations (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种双模态CNN二次迁移学习的精矿品位等级预测方法。首先，构建基于改进SE‑DenseNet的泡沫双模态图像深度学习网络模型，并借助RGB‑D大数据集对模型预训练；其次，构建不同加药状态下的小规模数据集对迁移后模型的最后卷积层、全连接层和softmax重新训练；最后，采用自适应深度核极限学习机代替全连接层和softmax进行再次迁移学习，得到各种加药状态下的精矿品位等级预测模型。本发明方法在小规模训练集条件下可有效扩大相邻品位等级图像特征的差异程度、降低误识别率，有效解决了单次迁移学习的过拟合问题，具有较高的预测精确度和召回率。

Description

一种双模态CNN二次迁移学习的精矿品位等级预测方法
技术领域
本发明涉及浮选精矿品位等级检测技术领域，特别是一种双模态CNN二次迁移学习的精矿品位等级预测方法。
背景技术
当前浮选精矿品位等级检测大多采用人工现场的定时采样，然后通过化验室的离线化验和后期计算获得相应的品位等级，检测数据的滞后性严重影响了生产变量的及时调整，导致浮选质量无法达到最优水平。近年来，针对浮选精矿品位等级在线检测困难，人工化验方式的实时性差、无法及时给出相应的指导信息，国内外学者基于机器视觉技术对精矿品位预测开展了一些研究工作，研究结果表明根据泡沫表面的视觉特征建立精矿品位预测模型是一种有效、可行的方法，但是这些方法在模型建立过程采用随机设置参数，容易引起过拟合现象，难于保证有最优的泛化性能，而且泡沫颜色特征和气泡稳定性的准确提取存在较大困难。近几年，深度学习进入快速发展阶段，鉴于深度卷积神经网络的优越特征提取能力，其在语音、动作、图像等模式识别领域的应用取得了突破的研究成果，引起了学术界诸多学者的广泛关注和深入研究，卷积神经网络也已经在浮选泡沫图像的特征提取和识别中得到应用研究，识别效果明显优于传统的人工神经网络，但是这些方法都只考虑提取泡沫图像的静态深度特征，而浮选精矿品位与泡沫表面运动特征密切相关。研究人员提出一种基于深度学习的双流特征提取模型，提取泡沫的外观和运动特征建立精矿品位预测模型，具有较高的预测精度，但是网络结构复杂、运行效率低。以上方法需要大量样本进行训练才能获得优秀的网络结构，然而浮选厂现场工作环境恶劣，大规模样本的建立较为困难。迁移学习可有效解决训练样本数据量需求较大的问题，提高卷积神经网络在小样本数据集应用中的分类精度，现有的泡沫图像迁移学习过程中需要对全连接层和分类算法反复迭代训练，需要调节的参数多，参数设置带有一定的随机性，容易陷入局部最小值、过拟合等问题，难于保证有最优的泛化性能。
发明内容
有鉴于此，本发明的目的在于提供一种双模态CNN二次迁移学习的精矿品位等级预测方法，在小规模训练集条件下可有效扩大相邻品位等级图像特征的差异程度、降低误识别率，有效解决了单次迁移学习的过拟合问题，具有较高的预测精确度和召回率。
为实现上述目的，本发明采用如下技术方案：一种双模态CNN二次迁移学习的精矿品位等级预测方法，包括以下步骤：
步骤1：采集正常、过量、欠量等3种加药状态下的泡沫双模态图像，根据现场化验室提供的加药状态和对应的精矿品位等级数据，构建3种加药状态下的双模态图像小规模数据集；
步骤2：采用RGB-D大规模数据集训练双模态ISE-DenseNet网络模型，然后将预训练模型进行迁移，冻结预训练的第一个卷积层、前三个ISE-Dense Block以及相应的3个过渡层和SE层；
步骤3：分别采用3种加药状态下的双模态泡沫图像小规模数据集，对双模态ISE-DenseNet网络模型进行迁移学习训练，对迁移后模型的ISE-Dense Block4以及全连接层和softmax进行训练学习，得到正常、过量、欠量3种加药状态下的双模态ISE-DenseNet预训练模型；
步骤4：对3种加药状态下的双模态ISE-DenseNet预训练模型再次迁移学习训练，冻结预训练模型的第一个卷积层、前四个ISE-Dense Block以及相应的过渡层和SE层，用自适应DTAE-KELM代替全连接层和softmax进行迁移学习训练；
步骤5：迁移学习训练过程中采用量子狼群算法对DTAE-KELM的L、C、σ参数进行自适应优化，训练集识别准确率作为适应度，最后得到3种加药状态下的精矿品位等级预测模型；
步骤6：实时采集浮选槽表面泡沫的可见光、红外图像，根据不同的加药状态，如果是故障状态则直接输出结果，否则采用相应加药状态下的模型进行精矿品位等级预测。
在一较佳的实施例中，构建泡沫图像双模态ISE-DenseNet网络模型具体为：
对浮选槽表面的泡沫进行红外热成像，泡沫红外图像隐含着泡沫的动态特征信息，红外热成像能直接展现产生崩塌、合并的气泡，根据浮选生产工况将精矿品位等级分为优、良、中、合格、差、异常6个等级；综合提取泡沫可见光和红外热成像的双模态图像特征作为精矿品位等级预测的驱动特征；
利用Inception-v3网络结构对SE-DenseNet进行改进，对Dense Block中的卷积进行不对称操作，将1×1卷积和3×3卷积替换为1×3和3×1的卷积形式，将SENet嵌入到Dense Block中，在Dense Block中的1×3和3×1卷积层后增加SE模块，融合得到ISE-DenseBlock；
综合提取泡沫可见光和红外图像的深度特征，在ISE-Dense Block基础上，构建双模态ISE-DenseNet网络模型，DenseNet网络需要3通道的224×224图像作为输入，将双模态256×256图像通过NSST分解为低频图像和高频尺度图像，然后将原图像、低频图像、高频尺度图像插值处理成3张224×224图像作为DenseNet的输入，图像分解后进行CNN特征提取能够充分挖掘出图像的轮廓、纹理和边缘细节信息；构建的双模态ISE-DenseNet网络模型包含上下两个通道的ISE-DenseNet网络，去掉原DenseNet第一个卷积层之后的池化层，采用ISE-Dense Block代替DenseNet中的Dense Block结构，并在每个ISE-Dense Block块的过渡层之后加入一个SE层，使每个通道具有不同的权重；上下每个ISE-DenseNet通道各包含四个ISE-Dense Block块，以及三个过渡层和三个SE层，将两个通道的最后ISE-DenseBlock块池化后进行全连接，并级联拼接为FC0，然后再经过全连接层FC1、FC2进行特征融合和学习，最后采用softmax进行多分类；根据迁移学习思想，将源领域训练模型的部分参数直接迁移到目标领域模型中，RGB-D数据集包含RGB和景深两种模态图像，泡沫双模态图像识别与RGB-D图像识别的任务相似，对双模态ISE-DenseNet网络模型预训练；采用RGB-D大数据集对双模态ISE-DenseNet模型预训练，然后将部分模型结构和参数迁移到泡沫精矿品位等级预测模型中，然后对模型进行二次训练。
在一较佳的实施例中，基于双模态ISE-DenseNet二次迁移学习的精矿品位等级预测具体为：
首先，构建基于ISE-DenseNet的双模态ISE-DenseNet网络模型，并通过RGB-D大规模数据集对模型进行预训练；其次，采用3种加药状态下的小规模双模态数据集对初始的预训练模型进行迁移学习，对迁移后模型的ISE-Dense Block4、全连接层和softmax重新训练，得到3种加药状态下的双模态ISE-DenseNet预训练模型；然后，采用自适应深度核极限学习机代替全连接层和softmax进行再次迁移学习，得到3种加药状态下的双模态ISE-DenseNet精矿品位等级预测模型；最后，根据加药状态识别结果，选择相应的双模态ISE-DenseNet二次迁移学习模型对精矿品位等级进行预测；
将多个层次的极限学习机自编码器串联作为KELM的特征学习网络，极限学习机自编码器令输入与输出相等，通过前馈神经网络来完成高层次的特征提取，构建双隐层自编码极限学习机，两个隐层的节点数都为Nh，设置Nh的值大于输入接点数，随机生成第一、二隐层节点的输入权重向量w1、w2和偏置b1′、b2′，通过输入X、w1和b1′计算第一隐层的输出矩阵，然后通过第一隐层输出矩阵、w2和b2′计算第二隐层输出矩阵Hi，通过式(1)计算每个双隐层自编码极限学习机的输出权重矩阵βi的值：
将多个双隐层自编码极限学习机与核极限学习机KELM串联起来，构成深度双隐层自编码核极限学习机DTAE-KELM，每个隐含节点Hi的输入权值都是前一个输出权值的转置βi T，通过式(2)将原始输入数据通过L个双隐层自编码极限学习机的逐层抽象提取，然后通过KELM映射到更高维空间进行决策；
将预训练的双模态ISE-DenseNet模型进行迁移学习，冻结预训练的第一个卷积层、前三个Dense Block：ISE-Dense Block1～ISE-Dense Block3，以及相应的3个过渡层和SE层，只对最后的ISE-Dense Block4进行训练；模型迁移后只需对ISE-Dense Block4、DTAE-KELM模型进行训练学习；采用量子狼群算法对DTAE-KELM模型的双隐层自编码极限学习机个数L、KELM的惩罚系数C和核函数参数σ进行自适应优化。
与现有技术相比，本发明具有以下有益效果：本发明方法在小规模训练集条件下，双模态特征提取方式可有效扩大相邻品位等级图像特征的差异程度、降低误识别率，二次迁移学习可有效解决单次迁移学习的过拟合问题，结合加药状态识别的精矿品位等级预测方法具有更高的精确度(PRE)和召回率(REC)，本发明精矿品位等级预测的识别精度和稳定性较现有泡沫图像深度学习方法有一定提升。
附图说明
图1为本发明优选实施例的不同精矿品位的泡沫红外热成像，其中，(a)为可见光图像，(b)为红外热成像，(c)为气泡崩塌，(d)为气泡合并，(e)为优等级，(f)为良等级，(g)为中等级，(h)为合格等级，(i)为差等级，(j)为异常；
图2为本发明优选实施例的改进的SE-Dense Block结构示意图；
图3为本发明优选实施例的双模态ISE-DenseNet网络模型图；
图4为本发明优选实施例的深度双隐层自编码核极限学习机网络模型图；
图5为本发明优选实施例的双模态ISE-DenseNet自适应迁移学习模型图；
图6为本发明优选实施例的精矿品位等级预测实现流图；
图7为本发明优选实施例的迁移学习过程准确度和损失值的变化曲线，其中，(a)为训练集的准确度和损失值变化曲线，(b)为测试集的准确度和损失值变化曲线；
图8为本发明优选实施例的四种模型的二次迁移学习效果，其中，(a)为适应度变化曲线，(b)为测试集准确度曲线；
图9为本发明优选实施例的不同数量训练样本的测试结果；
图10为本发明优选实施例的精矿品位等级预测结果及比较，其中，(a)为加药状态下双模态单次迁移学习效果，(b)为加药状态下单模态二次迁移学习效果，(c)为直接双模态二次迁移学习效果，(d)为加药状态下双模态二次迁移学习效果；
图11为本发明优选实施例的精矿品位等级的预测精确度和召回率，其中(a)为各精矿品位等级预测的PRE值，(b)为各精矿品位等级预测的REC值。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提出一种双模态CNN二次迁移学习的精矿品位等级预测方法。首先，构建基于改进SE-DenseNet的泡沫双模态图像深度学习网络模型，并借助RGB-D大数据集对模型预训练；其次，构建不同加药状态下的小规模数据集对迁移后模型的最后卷积层、全连接层和softmax重新训练；最后，采用自适应深度核极限学习机代替全连接层和softmax进行再次迁移学习，得到各种加药状态下的精矿品位等级预测模型。本发明方法在小规模训练集条件下可有效扩大相邻品位等级图像特征的差异程度、降低误识别率，有效解决了单次迁移学习的过拟合问题，具有较高的预测精确度和召回率。
具体技术方案如下：
1.泡沫图像双模态ISE-DenseNet网络模型构建
目前已有不少国内外研究人员使用泡沫视觉特征参数作为模型的输入来训练精矿品位预测模型，建模方法也从聚类算法、最小二乘法、支持向量机等传统算法发展到采用卷积神经网络的深度学习方法。以往的研究只停留在对泡沫可见光图像的处理，本发明对浮选槽表面的泡沫进行红外热成像，如图1所示，图(a)是泡沫可见光图像，图(b)是对应的红外热成像。气泡产生崩塌或合并后释放出热量，相比其他气泡的温度高，热成像后呈现出高亮的黄色区域，泡沫红外图像对产生崩塌、合并的气泡有一定的展现效果，图(c)中有两个气泡产生崩塌，图(d)中三个小气泡合并成一个大气泡。可见泡沫红外图像隐含着泡沫的动态特征信息，可见光图像只能表观颜色、尺寸、形状、分布等静态特征，而对应的红外热成像能直接展现产生崩塌、合并的气泡。根据浮选生产工况可以将精矿品位等级分为优、良、中、合格、差、异常等6个等级，图(e)～(j)展示了6个等级下泡沫的热成像图：产生崩塌、合并的气泡越少，气泡的稳定度越高，承载率越好，精矿品位等级越高；当气泡过小、过多，部分区域呈棉絮状，流动秩序乱，温度分布差异大，精矿品位等级比较差；当出现异常情况，气泡水化严重，滚动速度快，释放热量快，图像整体趋于高亮的黄色。因此，泡沫的红外热成像可有效表征气泡的崩塌、合并等动态特征，且在不同精矿品位等级下有一定区分度。因此，可综合提取泡沫可见光和红外热成像的双模态图像特征作为精矿品位等级预测的驱动特征。
本发明选用目前性能较优的DenseNet构建精矿品位等级预测模型，DenseNet能有效解决深层网络训练时的梯度消失现象，但在Dense Block中，任意一层到后续层的稠密连接容易导致提取的特征存在一定的冗余性，借助SENet对特征的筛选能力，将SENet嵌入到DenseNet中得到SE-DenseNet，以增强有利特征、抑制冗余特征，将两者的优势融合以提高网络鲁棒性。SE-DenseNet可以利用全局的特征信息有选择的增强有利特征，对不重要特征进行抑制，使得特征冗余影响得到缓解。本发明借鉴Inception-v3网络结构对SE-DenseNet进行改进，对Dense Block中的卷积进行不对称操作，将1×1卷积和3×3卷积替换为1×3和3×1的卷积形式，以提高模型的特征提取效率和表现力，改进后的SE-Dense Block(Improved SE-Dense Block，ISE-Dense Block)如图2所示，将SENet嵌入到Dense Block中，在Dense Block中的1×3和3×1卷积层后增加SE模块，融合得到ISE-Dense Block，融合后的网络既可以实现特征信息的无损传输，又可以对每个通道特征信息的性质进行判断，进而增强有益特征并抑制冗余特征，增强网络的鲁棒性。
本发明为综合提取泡沫可见光和红外图像的深度特征，在ISE-Dense Block基础上，构建双模态ISE-DenseNet网络模型，DenseNet网络需要3通道的224×224图像作为输入，因此将双模态256×256图像通过NSST分解为低频图像和高频尺度图像，然后将原图像、低频图像、高频尺度图像插值处理成3张224×224图像作为DenseNet的输入，图像分解后进行CNN特征提取能够充分挖掘出图像的轮廓、纹理和边缘细节信息，而且扩大了样本数量，有利于提高图像的分类精度。本发明所构建的双模态ISE-DenseNet网络模型结构如图3所示，包含上下两个通道的ISE-DenseNet网络，去掉了原DenseNet第一个卷积层之后的池化层，为防止池化操作引起浅层特征的丢失，采用ISE-Dense Block代替DenseNet中的DenseBlock结构，并在每个ISE-Dense Block块的过渡层之后加入一个SE层，使每个通道具有不同的权重。上下每个ISE-DenseNet通道各包含四个ISE-Dense Block块，以及三个过渡层和三个SE层，将两个通道的最后ISE-Dense Block块池化后进行全连接，并级联拼接为FC0，然后再经过全连接层FC1、FC2进行特征融合和学习，最后采用softmax进行多分类。根据迁移学习思想，如果源领域和目标领域的任务相似，可将源领域训练模型的部分参数直接迁移到目标领域模型中，RGB-D数据集包含RGB和景深两种模态图像，泡沫双模态图像识别与RGB-D图像识别的任务相似，可借助较大规模的RGB-D数据集对双模态ISE-DenseNet网络模型预训练。本发明采用现有RGB-D大数据集对双模态ISE-DenseNet模型预训练，然后将部分模型结构和参数迁移到泡沫精矿品位等级预测模型中，然后对模型进行二次训练，减少所需硬件资源、提高训练效率。
2.基于双模态ISE-DenseNet二次迁移学习的精矿品位等级预测
在不同加药状态下，为提高小规模训练集下CNN特征驱动的模型预测效果，提出一种基于双模态ISE-DenseNet二次迁移学习的精矿品位等级预测方法。首先，构建基于ISE-DenseNet的双模态ISE-DenseNet网络模型，并通过RGB-D大规模数据集对模型进行预训练；其次，采用3种加药状态下的小规模双模态数据集对初始的预训练模型进行迁移学习，对迁移后模型的ISE-Dense Block4、全连接层和softmax重新训练，得到3种加药状态下的双模态ISE-DenseNet预训练模型；然后，采用自适应深度核极限学习机代替全连接层和softmax进行再次迁移学习，得到3种加药状态下的双模态ISE-DenseNet精矿品位等级预测模型；最后，根据加药状态识别结果，选择相应的双模态ISE-DenseNet二次迁移学习模型对精矿品位等级进行预测。
为了减少惩罚系数C和核函数参数σ的影响，提高核极限学习机(KELM)的泛化性能，本发明将多个层次的极限学习机自编码器串联作为KELM的特征学习网络，极限学习机自编码器令输入与输出相等，通过前馈神经网络来完成高层次的特征提取，为提取更高维度的稀疏特征，本发明在这基础上构建了双隐层自编码极限学习机，如图4所示，两个隐层的节点数都为Nh，为实现特征稀疏表达，可设置Nh的值大于输入接点数，随机生成第一、二隐层节点的输入权重向量w1、w2和偏置b1′、b2′，通过输入X、w1和b1′计算第一隐层的输出矩阵，然后通过第一隐层输出矩阵、w2和b2′计算第二隐层输出矩阵Hi，通过式(1)可计算每个双隐层自编码极限学习机的输出权重矩阵βi的值：
本发明借鉴深度学习网络的构造思想，将多个双隐层自编码极限学习机与核极限学习机KELM串联起来，如图4所示，构成深度双隐层自编码核极限学习机(Deep Two HiddenLayer Autoencoder Kernel Extreme Learning Machine，DTAE-KELM)，每个隐含节点Hi的输入权值都是前一个输出权值的转置βi T，通过式(2)将原始输入数据通过L个双隐层自编码极限学习机的逐层抽象提取，然后通过KELM映射到更高维空间进行决策，有利于提高识别精度和泛化性能。
本发明借助现有的RGB-D大规模数据集训练双模态ISE-DenseNet网络模型，然后将预训练的双模态ISE-DenseNet模型进行迁移学习，如图5所示，冻结预训练的第一个卷积层、前三个Dense Block：ISE-Dense Block1～ISE-Dense Block3，以及相应的3个过渡层和SE层，只对最后的ISE-Dense Block4进行训练。预训练的双模态ISE-DenseNet是通过softmax分类器对全连接特征分类，并使用反向传播来训练所有网络参数，容易陷入局部最小值、过拟合等问题，本发明将多个串联的双隐层自编码极限学习机代替预训练模型的全连接层，核极限学习机(KELM)代替原有的softmax。模型迁移后只需对ISE-Dense Block4、DTAE-KELM模型进行训练学习，为获取最优的拟合性能，在训练过程中采用量子狼群算法对DTAE-KELM模型的双隐层自编码极限学习机个数L、KELM的惩罚系数C和核函数参数σ进行自适应优化。
3.具体实现流程及步骤
浮选加药状态的好坏直接影响精矿品位等级的高低：正常加药状态下泡沫具有良好的稳定性和粘度，气泡对矿物吸附力强，浮选效果好，精矿品位等级较高，基本稳定在优、良、中的等级；过量状态下，泡沫粘性高，矿物和杂质都附着在气泡表面，导致精矿品位下降，一般处于中、合格、差的较低等级；欠量状态下，泡沫流动性强，气泡崩塌率高，有用矿物容易下沉到浮选槽底部，精矿品位等级不高，主要集中在中、合格、差的等级。因此，本发明在各加药状态下分别对双模态ISE-DenseNet进行二次迁移学习，得到3种加药状态下的精矿品位等级预测模型，在加药状态识别的基础上进一步对精矿品位等级进行预测，实现流程如图6所示，具体步骤如下：
Step1：采集3种加药状态下的泡沫双模态图像，根据现场化验室提供的加药状态和对应的精矿品位等级数据，构建3种加药状态下的双模态图像小规模数据集；
Step2：采用RGB-D大规模数据集训练双模态ISE-DenseNet网络模型，然后将预训练模型进行迁移，冻结预训练的第一个卷积层、前三个ISE-Dense Block以及相应的3个过渡层和SE层；
Step3：分别采用3种加药状态下的双模态泡沫图像小规模数据集，对双模态ISE-DenseNet网络模型进行迁移学习训练，对迁移后模型的ISE-Dense Block4以及全连接层和softmax进行训练学习，得到正常、过量、欠量3种加药状态下的双模态ISE-DenseNet预训练模型；
Step4：对3种加药状态下的双模态ISE-DenseNet预训练模型再次迁移学习训练，冻结预训练模型的第一个卷积层、前四个ISE-Dense Block以及相应的过渡层和SE层，用自适应DTAE-KELM代替全连接层和softmax进行迁移学习训练；
Step5：迁移学习训练过程中采用量子狼群算法对DTAE-KELM的L、C、σ参数进行自适应优化，训练集识别准确率作为适应度，最后得到3种加药状态下的精矿品位等级预测模型；
Step6：实时采集浮选槽表面泡沫的可见光、红外图像，根据不同的加药状态，如果是故障状态则直接输出结果，否则采用相应加药状态下的模型进行精矿品位等级预测。
4具体的实施例及说明
为验证本发明方法的有效性，在福建金东矿业股份有限公司的铅锌矿浮选厂中采集到的泡沫图像作为实验样本，实验的硬件平台为Intel(R)Core(TM)i7-9800X CPU@3.80GHz、NVIDIA GeForce RTX 3080Ti、128GB RAM，软件运行环境为Windows 10Matlab2019a、Python3.7、Pytorch1.7，通过实验对本发明所提方法进行验证。
为验证本文精矿品位等级预测方法的有效性，在2020年10月12日至2020年12月20日期间，采用菲力尔T620红外热像仪采集铅矿精选槽Ⅱ表面泡沫双模态图像，在正常加药状态下选取优、良、中品位等级下5000×3组泡沫双模态图像，同样在过量、欠量加药状态下选取中、合格、差品位等级下5000×3组泡沫双模态图像，创建3种加药状态下精矿品位等级预测模型的训练数据集。另外，采集6种精矿品位等级下对应的粗选槽和精选槽Ⅱ各1000×6组双模态图像作为测试数据集。
(1)双模态ISE-DenseNet网络模型构建。先采用Lai等人公布的RGB-D数据集[对双模态ISE-DenseNet网络模型预训练，70％样本作为训练集数据，30％样本作为测试集数据。训练过程中，学习率设置为0.001，学习动量设置为0.9，权重衰减系数设置为0.0003，损失函数选择交叉熵(Cross-Entropy)，批处理数量设置为32，训练迭代次数设置为5000。为选择合适网络深度，分别选择不同层数的DenseNet和ISE-DenseNet构建双模态网络进行训练和测试，测试集分类准确率随着网络深度的增加而提升，各网络层数下的ISE-DenseNet均比DenseNet的分类准确率高，当ISE-DenseNet的网络层数达到52层后，准确率开始趋于平稳，从58层开始准确率达到最高并保持平稳。因此，本文选择58层ISE-DenseNet构建双模态网络作为初始预训练模型。
(2)双模态ISE-DenseNet网络模型第一次迁移学习。将初始的双模态ISE-DenseNet预训练模型进行迁移，冻结预训练模型的第一个卷积层、前三个ISE-Dense Block以及相应的3个过渡层和SE层，对迁移后模型的ISE-Dense Block4以及全连接层和softmax进行训练学习。将3种加药状态下的5000×3组样本作为训练数据，6种精矿品位等级下的1000×6组样本作为测试数据，迭代训练2000次后，得到正常、过量、欠量3种加药状态下的双模态ISE-DenseNet预训练模型。为进行比较分析，将3种加药状态下的5000×3组样本混合一起作为训练数据，直接对初始的双模态ISE-DenseNet预训练模型进行迁移学习训练，得到一个整体的双模态ISE-DenseNet预训练模型。4种模型的迁移学习训练过程如图7所示：4种模型在训练过程中，训练集准确度和损失值的波动都比较大，过量和欠量模型训练过程的准确度较高、损失值较低；过量和欠量模型的测试集准确度达到90％以上，损失值低于0.4，而且变化较为平稳，模型性能较优；正常模型较整体模型的测试集准确度稍高、损失值稍低，性能稍优于整体模型；整体模型的准确度及损失值在训练后期相比其他三个模型的波动更大，模型性能较差。因此，将3种加药状态下的样本作为训练数据，得到的正常、过量、欠量等3个双模态ISE-DenseNet预训练模型的性能优于整体训练的模型。
(3)双模态ISE-DenseNet网络模型第二次迁移学习。根据图7的学习训练过程可知，4个双模态ISE-DenseNet预训练模型在训练过程中都出现了不同程度的过拟合现象，这是由于通过softmax对全连接特征分类，并使用反向传播来训练所有网络参数，容易陷入局部最小值而引起过拟合现象。为此，本发明将L个串联的双隐层自编码极限学习机代替预训练模型的全连接层，KELM代替原有的softmax，对4个双模态ISE-DenseNet预训练模型再次迁移学习，冻结预训练模型的第一个卷积层、4个ISE-Dense Block以及相应的过渡层和SE层，只对迁移后模型的DTAE-KELM进行训练学习。为获取最优的分类性能，在训练过程中采用量子狼群算法对L、C和σ等参数进行优化，3个参数的范围：1≤L≤10、0.01≤C≤1000、0.01≤σ≤100，将3个参数作为人工狼的基因，训练集的识别误差作为适应度，实验中狼群规模M＝500，基因长度h＝20，距离因子ω＝500，步长因子τ＝1000，更新因子γ＝6，探狼比例因子δ＝4，最大游走次数Tmax＝20，非线性指数λ＝1.6、基本旋转角Δθ＝0.3π，最大迭代次数Kmax＝500。4种模型的迭代训练过程如图8所示：4种模型在DTAE-KELM的训练过程中将识别误差作为适应度，迭代训练过程中识别误差逐步减小，正常和欠量模型的收敛效率较高，当迭代次数超过300次后，4种模型的训练集识别误差稳定在1.0％-1.8％之间；正常和欠量模型的测试集准确度提升速度快，而且变化较为平稳，最终测试集准确度稳定在95％左右；过量模型在迭代初期的测试集准确度较低，但是在迭代后期得到大幅度提升，而且测试集准确度的波动最小，最终测试集准确度稳定在96％左右；整体模型的测试集准确度在训练过程中相比其他三个模型的波动更大，测试集准确度也稍低于其他3种模型，最终稳定在94％左右。因此，对4个双模态ISE-DenseNet预训练模型再次迁移学习后，模型的性能都得到一定程度的提高，而且有效解决了过拟合现象，最终得到的正常、过量、欠量状态下的3个精矿品位等级预测模型的性能均优于整体训练的模型。
为验证训练样本数量对正常、过量、欠量状态下的3个精矿品位等级预测模型识别准确率的影响，将训练集每次以递增500×3组样本的方式进行实验，测试样本数量为训练样本数的1/3，测试结果如图9所示：样本数量小于1000×3组时，3个精矿品位等级预测模型识别准确率都较低，过量状态下的精矿品位等级预测模型的识别准确率最低；随着样本数量的增加，3个预测模型的识别准确率逐步提升，过量状态下的精矿品位等级预测模型的准确率提升幅度最大；当样本数量超过2500×3组以后，3个等级预测模型都具有较高的识别准确率，识别准确率超过90％；当样本数量超过4000×3组以后，3个等级预测模型的识别准确率趋于平稳，达到最高值。
(4)精矿品位等级预测效果及比较分析。为验证本发明精矿品位等级预测模型的迁移学习性能，采用3种加药状态下的4000×3组双模态图像作为训练样本、6种精矿品位等级下的1000×6组双模态图像作为测试样本对模型进行试验。为比较迁移学习的效果，采用相同数据集对单次迁移学习的双模态ISE-DenseNet预训练模型、只采用可见光图像训练的单模态二次迁移学习模型、未借助加药状态识别而直接训练的双模态二次迁移学习模型、以及本文的加药状态下双模态二次迁移学习模型进行训练和测试，测试集的识别混淆矩阵如图10所示，对角线上6个格子代表6种品位等级的正确识别数量，其余格子代表对应X轴上的实际品位等级被误识别为对应Y轴上品位等级的数量。根据图10的识别混淆矩阵，对各模型的精矿品位等级预测精确度和召回率进行统计，结果如图11所示：故障状态下的可见光、红外图像信息变化较大，四种模型的故障识别精确度和召回率都比较高；因正常、过量、欠量加药状态下都包含“中”等级的精矿品位，导致几种模型的“中”等级的识别精确度和召回率最低；因RGB-D图像与泡沫双模态图像存在一定的差异，直接采用单次迁移学习的双模态ISE-DenseNet预训练模型进行预测，精矿品位等级预测的精确度和召回率都比较低；采用可见光图像训练的单模态二次迁移学习模型的精确度(PRE)和召回率(REC)平均值可达90％，但是PRE和REC的标准差较大，PRE和REC也有待进一步提高；如果不借助加药状态识别，直接对双模态ISE-DenseNet初始预训练模型进行整体二次迁移学习，PRE和REC平均值都为92.44％，PRE和REC的标准差为3.34％和3.37％；本发明加药状态下双模态二次迁移学习模型的PRE和REC平均值为94.79％和94.77％，PRE和REC的标准差为2.50％和2.39％，PRE和REC有较大提高，而且标准差最小。实验结果表明：采用双模态图像CNN特征提取方式可有效扩大相邻品位等级图像特征的差异程度，降低相邻品位等级间的误识别率；二次迁移学习可有效解决单次迁移学习的过拟合问题，进一步提高PRE和REC的平均值、降低PRE和REC的标准差；分别在3种加药状态下进行二次迁移学习，3种状态下融合的预测模型的性能优于整体训练的模型。
现场试验结果表明：在小规模训练集条件下，ISE-DenseNet的训练效率和测试精度优于SE-DenseNet，双模态特征提取方式可有效扩大相邻品位等级图像特征的差异程度、降低误识别率，二次迁移学习可有效解决单次迁移学习的过拟合问题、提高识别精度和稳定性，结合加药状态识别的精矿品位等级预测方法具有更高的精确度(PRE)和召回率(REC)，本发明精矿品位等级预测的PRE和REC平均值分别为94.79％和94.77％，PRE和REC的标准差分别为2.50％和2.39％，预测精度和稳定性较现有泡沫图像深度学习方法有一定提升。
浮选现场工作环境恶劣、大规模样本建立困难，为提高小规模训练集下CNN特征驱动的浮选精矿品位等级预测效果，同时对泡沫可见光和红外图像进行深度学习，将泡沫双模态图像和迁移学习引入到模型的构建中，提出一种双模态CNN二次迁移学习的精矿品位等级预测方法。本发明方法在小规模训练集条件下，双模态特征提取方式可有效扩大相邻品位等级图像特征的差异程度、降低误识别率，二次迁移学习可有效解决单次迁移学习的过拟合问题，结合加药状态识别的精矿品位等级预测方法具有更高的精确度(PRE)和召回率(REC)，本发明精矿品位等级预测的识别精度和稳定性较现有泡沫图像深度学习方法有一定提升。

Claims (3)

1.一种双模态CNN二次迁移学习的精矿品位等级预测方法，其特征在于，包括以下步骤：
步骤1：采集正常、过量、欠量等3种加药状态下的泡沫双模态图像，根据现场化验室提供的加药状态和对应的精矿品位等级数据，构建3种加药状态下的双模态图像小规模数据集；
步骤2：采用RGB-D大规模数据集训练双模态ISE-DenseNet网络模型，然后将预训练模型进行迁移，冻结预训练的第一个卷积层、前三个ISE-Dense Block以及相应的3个过渡层和SE层；
步骤3：分别采用3种加药状态下的双模态泡沫图像小规模数据集，对双模态ISE-DenseNet网络模型进行迁移学习训练，对迁移后模型的ISE-Dense Block4以及全连接层和softmax进行训练学习，得到正常、过量、欠量3种加药状态下的双模态ISE-DenseNet预训练模型；
步骤4：对3种加药状态下的双模态ISE-DenseNet预训练模型再次迁移学习训练，冻结预训练模型的第一个卷积层、前四个ISE-Dense Block以及相应的过渡层和SE层，用自适应DTAE-KELM代替全连接层和softmax进行迁移学习训练；
步骤5：迁移学习训练过程中采用量子狼群算法对DTAE-KELM的L、C、σ参数进行自适应优化，训练集识别准确率作为适应度，最后得到3种加药状态下的精矿品位等级预测模型；
步骤6：实时采集浮选槽表面泡沫的可见光、红外图像，根据不同的加药状态，如果是故障状态则直接输出结果，否则采用相应加药状态下的模型进行精矿品位等级预测。
2.根据权利要求1所述的一种双模态CNN二次迁移学习的精矿品位等级预测方法，其特征在于，构建泡沫图像双模态ISE-DenseNet网络模型具体为：
对浮选槽表面的泡沫进行红外热成像，泡沫红外图像隐含着泡沫的动态特征信息，红外热成像能直接展现产生崩塌、合并的气泡，根据浮选生产工况将精矿品位等级分为优、良、中、合格、差、异常6个等级；综合提取泡沫可见光和红外热成像的双模态图像特征作为精矿品位等级预测的驱动特征；
利用Inception-v3网络结构对SE-DenseNet进行改进，对Dense Block中的卷积进行不对称操作，将1×1卷积和3×3卷积替换为1×3和3×1的卷积形式，将SENet嵌入到DenseBlock中，在Dense Block中的1×3和3×1卷积层后增加SE模块，融合得到ISE-DenseBlock；
综合提取泡沫可见光和红外图像的深度特征，在ISE-Dense Block基础上，构建双模态ISE-DenseNet网络模型，DenseNet网络需要3通道的224×224图像作为输入，将双模态256×256图像通过NSST分解为低频图像和高频尺度图像，然后将原图像、低频图像、高频尺度图像插值处理成3张224×224图像作为DenseNet的输入，图像分解后进行CNN特征提取能够充分挖掘出图像的轮廓、纹理和边缘细节信息；构建的双模态ISE-DenseNet网络模型包含上下两个通道的ISE-DenseNet网络，去掉原DenseNet第一个卷积层之后的池化层，采用ISE-Dense Block代替DenseNet中的Dense Block结构，并在每个ISE-Dense Block块的过渡层之后加入一个SE层，使每个通道具有不同的权重；上下每个ISE-DenseNet通道各包含四个ISE-Dense Block块，以及三个过渡层和三个SE层，将两个通道的最后ISE-DenseBlock块池化后进行全连接，并级联拼接为FC0，然后再经过全连接层FC1、FC2进行特征融合和学习，最后采用softmax进行多分类；根据迁移学习思想，将源领域训练模型的部分参数直接迁移到目标领域模型中，RGB-D数据集包含RGB和景深两种模态图像，泡沫双模态图像识别与RGB-D图像识别的任务相似，对双模态ISE-DenseNet网络模型预训练；采用RGB-D大数据集对双模态ISE-DenseNet模型预训练，然后将部分模型结构和参数迁移到泡沫精矿品位等级预测模型中，然后对模型进行二次训练。
3.根据权利要求1所述的一种双模态CNN二次迁移学习的精矿品位等级预测方法，其特征在于，基于双模态ISE-DenseNet二次迁移学习的精矿品位等级预测具体为：
首先，构建基于ISE-DenseNet的双模态ISE-DenseNet网络模型，并通过RGB-D大规模数据集对模型进行预训练；其次，采用3种加药状态下的小规模双模态数据集对初始的预训练模型进行迁移学习，对迁移后模型的ISE-Dense Block4、全连接层和softmax重新训练，得到3种加药状态下的双模态ISE-DenseNet预训练模型；然后，采用自适应深度核极限学习机代替全连接层和softmax进行再次迁移学习，得到3种加药状态下的双模态ISE-DenseNet精矿品位等级预测模型；最后，根据加药状态识别结果，选择相应的双模态ISE-DenseNet二次迁移学习模型对精矿品位等级进行预测；
将多个层次的极限学习机自编码器串联作为KELM的特征学习网络，极限学习机自编码器令输入与输出相等，通过前馈神经网络来完成高层次的特征提取，构建双隐层自编码极限学习机，两个隐层的节点数都为Nh，设置Nh的值大于输入接点数，随机生成第一、二隐层节点的输入权重向量w1、w2和偏置b′1、b′2，通过输入X、w1和b′1计算第一隐层的输出矩阵，然后通过第一隐层输出矩阵、w2和b′2计算第二隐层输出矩阵Hi，通过式(1)计算每个双隐层自编码极限学习机的输出权重矩阵βi的值：
将多个双隐层自编码极限学习机与核极限学习机KELM串联起来，构成深度双隐层自编码核极限学习机DTAE-KELM，每个隐含节点Hi的输入权值都是前一个输出权值的转置通过式(2)将原始输入数据通过L个双隐层自编码极限学习机的逐层抽象提取，然后通过KELM映射到更高维空间进行决策；
将预训练的双模态ISE-DenseNet模型进行迁移学习，冻结预训练的第一个卷积层、前三个Dense Block：ISE-Dense Block1～ISE-Dense Block3，以及相应的3个过渡层和SE层，只对最后的ISE-Dense Block4进行训练；模型迁移后只需对ISE-Dense Block4、DTAE-KELM模型进行训练学习；采用量子狼群算法对DTAE-KELM模型的双隐层自编码极限学习机个数L、KELM的惩罚系数C和核函数参数σ进行自适应优化。
CN202310546945.2A 2023-05-16 2023-05-16 一种双模态cnn二次迁移学习的精矿品位等级预测方法 Pending CN116503378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310546945.2A CN116503378A (zh) 2023-05-16 2023-05-16 一种双模态cnn二次迁移学习的精矿品位等级预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310546945.2A CN116503378A (zh) 2023-05-16 2023-05-16 一种双模态cnn二次迁移学习的精矿品位等级预测方法

Publications (1)

Publication Number Publication Date
CN116503378A true CN116503378A (zh) 2023-07-28

Family

ID=87318182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310546945.2A Pending CN116503378A (zh) 2023-05-16 2023-05-16 一种双模态cnn二次迁移学习的精矿品位等级预测方法

Country Status (1)

Country Link
CN (1) CN116503378A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809230A (zh) * 2024-02-29 2024-04-02 四川省水利科学研究院 一种基于图像识别的水流流速识别方法及相关产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809230A (zh) * 2024-02-29 2024-04-02 四川省水利科学研究院 一种基于图像识别的水流流速识别方法及相关产品

Similar Documents

Publication Publication Date Title
CN111292525B (zh) 基于神经网络的交通流预测方法
CN113011397B (zh) 基于遥感图像4D-FractalNet的多因素蓝藻水华预测方法
CN110703899B (zh) 一种基于迁移学习的数据中心能效优化方法
CN116503378A (zh) 一种双模态cnn二次迁移学习的精矿品位等级预测方法
CN102222313A (zh) 基于核主成分分析的城市演化模拟元胞模型处理方法
CN108595803A (zh) 基于递归神经网络的页岩气井生产压力预测方法
CN114777192B (zh) 基于数据关联和深度学习的二级网供热自主优化调控方法
CN104732067A (zh) 一种面向流程对象的工业过程建模预测方法
CN116070750A (zh) 一种选矿日综合生产指标多目标鲁棒优化决策方法
Zhao et al. Evolutionary algorithms with blind fitness evaluation for solving optimization problems with only fuzzy fitness information
CN113408190A (zh) 基于Bayes-LSTM模型的公路隧道施工期围岩变形预测方法
CN113762591A (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
Ma et al. A particle swarm optimization based grey forecast model of underground pressure for working surface
CN111985782A (zh) 基于环境感知的自动驾驶有轨电车运行风险评估方法
CN115034478B (zh) 一种基于领域自适应与知识迁移的交通流量预测方法
CN114627333A (zh) 一种改进深度主动学习的锌浮选泡沫图像分类算法及系统
Liu et al. Prediction of dam horizontal displacement based on CNN-LSTM and attention mechanism
CN113887723A (zh) 一种基于关系型的动态路由网络学习方法
Lin et al. The future of environmental performance architectural design based on human-computer interaction
Schøler et al. RANS-AD based ANN surrogate model for wind turbine wake deficits
Fan et al. Construction of a neural network and its application on target classification
Alshawabkeh et al. Automated Pavement Crack Detection Using Deep Feature Selection and Whale Optimization Algorithm.
CN117910120B (zh) 基于轻量化Transformer的风-桥系统抖振响应预测方法
Ye et al. Driving Cycle Condition Identification Model Based on Long Short-Term Memory Algorithm [J]
CN111709079B (zh) 一种悬浮隧道参数化横断面几何优化形状及参数寻优算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination