CN117496436A - 一种基于深浅层特征融合的浮选过程工况识别方法 - Google Patents
一种基于深浅层特征融合的浮选过程工况识别方法 Download PDFInfo
- Publication number
- CN117496436A CN117496436A CN202311489758.1A CN202311489758A CN117496436A CN 117496436 A CN117496436 A CN 117496436A CN 202311489758 A CN202311489758 A CN 202311489758A CN 117496436 A CN117496436 A CN 117496436A
- Authority
- CN
- China
- Prior art keywords
- image
- working condition
- feature
- flotation
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000005188 flotation Methods 0.000 title claims abstract description 73
- 230000004927 fusion Effects 0.000 title claims abstract description 50
- 230000008569 process Effects 0.000 title claims abstract description 40
- 238000003066 decision tree Methods 0.000 claims abstract description 30
- 238000009826 distribution Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000013526 transfer learning Methods 0.000 claims abstract description 6
- 239000006260 foam Substances 0.000 claims description 60
- 239000013598 vector Substances 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 17
- 229910052717 sulfur Inorganic materials 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000007500 overflow downdraw method Methods 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims 1
- 238000009291 froth flotation Methods 0.000 abstract description 3
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 8
- 239000011593 sulfur Substances 0.000 description 7
- 230000009467 reduction Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 229910052500 inorganic mineral Inorganic materials 0.000 description 4
- 239000011707 mineral Substances 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012843 least square support vector machine Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000003723 Smelting Methods 0.000 description 1
- 239000005864 Sulphur Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及泡沫浮选技术领域，具体公开了一种基于深浅层特征融合的浮选过程工况识别方法，包括以下步骤：S01：基于改进非参数核密度估计的浅层特征提取；包括：颜色特征提取、纹理特征提取、颜色纹理特征提取和尺寸分布特性提取；S02：基于密集连接网络和迁移学习的深层特征提取；S03：基于密集连接网络决策树的工况识别，包括：基于串行连接‑堆叠自编码器的二阶段多特征融合；工况识别：基于密集连接网络决策树的工况识别的核心在于构建特定损失函数最小的决策树，本方法解决了传统的基于单一浅层特征进行工况识别的不足的问题。
Description
技术领域
本申请涉及泡沫浮选技术领域，具体公开了一种基于深浅层特征融合的浮选过程工况识别方法。
背景技术
泡沫浮选是矿物富集的主要工艺，其通过给浮选槽内通入空气，在浮选机叶轮的搅拌与切割下生成大量的气泡，疏水性强的有价矿物单质粘附于气泡上并上浮形成泡沫层，并通过溢流得到高品位的精矿产品。观察泡沫形态，颜色、纹理和尺寸等浅层特征来对浮选过程工况进行识别，进而调节空气鼓入量等操作参数是过程优化控制的主要途径。但提取的纹理、尺寸等浅层特征不一定能完全准确描述浮选过程的运行状态，制约优化控制效果。因此，有效提升浮选过程的工况识别性能势在必行；
随着深度学习技术的不断发展，可基于深度学习网络对复杂工业过程进行深层特征提取，并用于过程工况识别，取得了很好的应用效果。因此，浅层特征、深层特征是复杂工业过程工况识别的两类主要特征。在示例[1]中，研究人员设计了基于浅层特征的浮选过程工况识别方法，其核心算法为最小二乘支持向量机(least square support vectormachine)，属于经典的机器学习方法。具体而言，研究人员针对浮选过程工况识别问题，首先，基于颜色值、概率密度函数、非参数核密度估计等分析方法提取了泡沫纹理、尺寸等浅层特征。在此基础上，建立了稀疏多核最小二乘支持向量机的分类模型，从而实现工况识别；
示例[1]：Mingfang He,Chunhua Yang,Xiaoli Wang,et al.Nonparametricdensity estimation of froth colour texture distribution for monitoringsulphur flotation process[J].Minerals Engineering,2023,53:203-212.
目前存在的问题：示例[1]所给出的估计方法存在一定的局限性。方法泡沫纹理、尺寸特征提取方法都是基于一些常规的统计量对纹理和尺寸进行描述，难以完整准确地表征各工况下泡沫图像的局部差异。另外，提取的浮选泡沫图像浅层特征不够细致全面，且具有较多的冗余信息和噪声信息。因此，对浅层特征进行更精细化的提取处理，同时将其和深层特征进行融合对提高工况识别性能至关重要。
总的来说，浅层特征较直观的反映了浮选泡沫图像的表观特征，但不一定能捕获模型需要的所有相关信息，并且还会包含过多的冗余信息和噪声信息，导致识别准确率低。另外，对于一些较复杂且表观相似的工况，浅层特征缺乏足够的细节信息来对工况进行区分，而深度神经网络可以自动地提取预测模型所需要的特征作为预测因子来对工况进行识别，与浅层特征相比，深度神经网络提取的深层特征具备更多的细节信息。因此，同时考虑浅层特征和深层特征是非常重要的。这两类特征的融合能提高描述的全面性和准确性，弥补基于单一浅层特征进行工况识别的不足。
发明内容
本发明提供一种基于深浅层特征融合的浮选过程工况识别方法，解决现有方法只提取浅层特征进行工况识别的限制，此发明能够包含更多的工况细节信息和更深层次的表征工况变化的信息，更准确地表征各工况下泡沫图像的局部差异，消除浅层特征冗余和噪声信息，从而提高浮选过程工况识别的精度。
为了达到上述目的，本发明提供以下基础方案：
一种基于深浅层特征融合的浮选过程工况识别方法，该方法依据浮选泡沫图像的表观特征与浮选工况、硫精矿品位的关联性，提出了将深浅层特征融合后送入密集连接网络决策树分类模型进行分类的浮选工况识别方法。首先，在得到浮选泡沫图像的颜色纹理和尺寸分布的基础上，利用改进的非参数核密度估计方法来对泡沫的颜色纹理分布和尺寸分布进行逼近，提取唯一变动的权系数向量，用来表征浮选泡沫图像的颜色纹理特征和尺寸特征。然后，基于密集连接网络和迁移学习的深层特征提取方法，通过实现密集连接网络模型的迁移学习有效地提取了浮选泡沫图像的深层特征。在此基础上，提出了基于串行连接堆叠自编码器的二阶段多特征融合方法对泡沫图像的颜色纹理特征，尺寸特征和深层特征进行深浅层融合降维，全面地描述特征信息，消除特征冗余和噪声信息。然后将融合后的特征送入密集连接网络决策树模型进行工况识别。
本基础方案的原理及效果在于：
1.与现有技术相比，针对现有的泡沫纹理、尺寸特征提取方法都是基于一些常规的统计量对纹理和尺寸进行描述，难以完整准确地表征各工况下泡沫图像的局部差异的问题，在得到浮选泡沫图像的颜色纹理和尺寸分布的基础上，利用改进的非参数核密度估计方法来对泡沫的颜色纹理分布和尺寸分布进行逼近，提取唯一变动的权系数向量，用来表征浮选泡沫图像的颜色纹理特征和尺寸特征。
2.与现有技术相比，针对提取的浮选泡沫图像特征不够细致全面的问题，提出基于密集连接网络和迁移学习的深层特征提取方法，通过实现密集连接网络模型的迁移学习有效地提取了浮选泡沫图像的深层特征。
3.与现有技术相比，针对提取的浮选泡沫图像特征具有较多的冗余信息和噪声信息的问题，提出了基于串行连接堆叠自编码器的二阶段多特征融合方法对泡沫图像的颜色纹理特征，尺寸特征和深层特征进行深浅层融合降维，全面地描述了特征信息，消除了特征冗余和噪声信息。然后将融合后的特征送入基于密集连接网络决策树的分类模型进行工况识别，有效地提升了工况识别的准确率。
进一步，在步骤S01中的颜色特征提取，把浮选现场采集到的泡沫图像根据式(1)从RGB空间转换到HSV空间；
式(1)：
其中，R、G、B分别指代表红、绿、蓝三个通道的颜色，H、S、V分别指色彩、深浅、明暗三个直观颜色特性。
进一步，在步骤S01中的纹理特征提取，定义纹理单元TU＝(E1…E8)，其中Ei的计算如式(2)所示：
定义NTU为纹理单元数，则由式(3)可知其范围为[0,6560]：
假设浮选动态系统的输入为u(t)∈Rm，输出为x(t)∈[a,b]，则输出x(t)在[a,b]范围的概率如式(4)所示：
其中，u(t)是控制输入，即浮选过程中的矿浆底流流量调节值，反映在泡沫层厚度的变化上；x(t)是浮选泡沫图像的实际纹理单元数；fker(x,u)为泡沫图像的实际纹理单元分布(即纹理单元数的概率密度分布)。
通过式(5)可估计实际纹理单元分布：
其中，为逼近的泡沫纹理单元分布函数，/>是第i个核函数，h是核函数的带宽，wi是对应于第i个核函数的权值，Xi是对应于第i个核函数的x轴中心点，
进一步，关于颜色纹理特征提取，将摄像机采集的RGB泡沫图像按照式(1)转换到HSV颜色空间，获得了泡沫图像中每个像素点的色调H、饱和度S以及亮度V三个分量。然后对HSV空间进行非等间隔量化，H、S、V分别被量化为34级(0-33)、10级(0-9)、7级(0-6)。然后，通过式(6)构建一个新的颜色变量：
C＝6H+5S+2V (6)
其中，C的取值范围为[0,255]。并基于式(5)获得泡沫图像颜色纹理分布。
进一步，关于尺寸分布特性提取：先将工业现场采集的泡沫图像转换为灰度图像；在灰度图像的基础上，分别进行形态学腐蚀和膨胀操作；以膨胀后的图像作为标记，对图像进行形态学闭重构操作；在对图像进行平滑处理以后，再结合不同精度下的距离变换及分水岭分割算法对图像进行分割。根据数理统计原理，对分割后每个区域的尺寸大小进行统计，利用每个区域的尺寸大小值的数量来描述尺寸分布。
进一步，在步骤S02中，具体如下：首先将泡沫图像的大小调整为512×512，然后对其进行中心裁剪操作，得到泡沫的尺寸为224×224，最后将图像进行归一化处理。接着就是将预处理完的图像数据按每批次32张样本图像随机送入预训练的DenseNet121模型进行训练，提取浮选泡沫图像的深层特征。通过记录全连接层的节点输出，得到了三个特征向量，维度分别为1×1000、1×512和1×4，这些特征将会用于后续工况识别的判别，通过将所得特征用于分类器模型对工况进行分类，当把1×512维的特征向量用于分类器进行工况识别时，得到的识别准确率最高，说明此时特征所包含的信息更能反映浮选过程的工况信息，因此将维度维1×512的特征向量作为浮选泡沫图像的深层特征。
进一步，基于串行连接-堆叠自编码器的二阶段多特征融合：将颜色纹理、尺寸等浅层特征进行融合，然后再将融合后的浅层特征与深层特征进行融合，首先将各单一特征向量进行串行连接得到具有更多图像信息的高维特征向量，然后通过堆叠自编码器将含有大量信息冗余和噪声的高维特征数据进行降维，用低维的向量表示原始数据，去除变量之间的相关性和冗余信息，通过串行连接、堆叠自编码器二阶段多特征融合方法对特征进行融合降维。
进一步，工况识别：基于密集连接网络决策树的工况识别的核心在于构建特定损失函数最小的决策树，考虑由N个样本组成的训练集D，D＝{(x1,y1),(x2,y2),...,(xn,yn)}，其中x表示输入，y表示标签，x中有许多属性，属性集A＝{a1,a2,…,am}，其中a表示某一个属性，m表示属性的个数。将训练集D和属性集A作为输入训练决策树模型。
训练决策树的关键在于如何选择最优划分属性。采用信息熵来划分属性，假定当前样本集合D中第K类样本所占的比例为Pk(k＝1,2,…,y)，则D的信息熵定义由式(17)给出：
其中Ent(D)的值越小，则D的纯度越高。
信息增益直接以信息熵为基础，计算当前划分对信息熵所造成的变化。以属性a对样本集D进行划分所获得的信息增益如式(18)所示：
其中，离散属性a的取值为{a1,a2,…,av,…,aV}，av为属性a的第v个属性值，属性a中总共有V个属性值。信息增益越大，则使用属性a来进行划分所获得的纯度提升越大。在构建了特定损失函数最小的决策树的基础上，则可使用分类模型对浮选工况进行识别。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的工况识别过程图；
图2示出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的特征向量串行连接融合过程图；
图3示出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的基于串行连接-堆叠自编码器的二阶段特征融合过程；
图4出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的硫浮选工艺流程图；
图5出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的硫浮选图像采集系统示意图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。
实施例如图1、图2、图3、图4和图5所示：
一种基于深浅层特征融合的浮选过程工况识别方法，步骤1：基于改进非参数核密度估计的浅层特征提取。
颜色特征提取：
把浮选现场采集到的泡沫图像根据式(1)从RGB空间转换到HSV空间。
其中，R、G、B分别指代表红、绿、蓝三个通道的颜色，H、S、V分别指色彩、深浅、明暗三个直观颜色特性。
纹理特征提取：
定义纹理单元TU＝(E1…E8)，其中Ei的计算如式(2)所示：
定义NTU为纹理单元数，则由式(3)可知其范围为[0,6560]：
假设浮选动态系统的输入为u(t)∈Rm，输出为x(t)∈[a,b]，则输出x(t)在[a,b]范围的概率如式(4)所示：
其中，u(t)是控制输入，即浮选过程中的矿浆底流流量调节值，反映在泡沫层厚度的变化上；x(t)是浮选泡沫图像的实际纹理单元数；fker(x,u)为泡沫图像的实际纹理单元分布(即纹理单元数的概率密度分布)。
通过式(5)可估计实际纹理单元分布：
其中，为逼近的泡沫纹理单元分布函数，/>是第i个核函数，h是核函数的带宽，wi是对应于第i个核函数的权值，Xi是对应于第i个核函数的x轴中心点，
颜色纹理特征提取：
将摄像机采集的RGB泡沫图像按照式(1)转换到HSV颜色空间，获得了泡沫图像中每个像素点的色调H、饱和度S以及亮度V三个分量。然后对HSV空间进行非等间隔量化，H、S、V分别被量化为34级(0-33)、10级(0-9)、7级(0-6)。然后，通过式(6)构建一个新的颜色变量：
C＝6H+5S+2V (6)
其中，C的取值范围为[0,255]。并基于式(5)获得泡沫图像颜色纹理分布。
尺寸分布特性提取：
首先将工业现场采集的泡沫图像转换为灰度图像；在灰度图像的基础上，分别进行形态学腐蚀和膨胀操作；以膨胀后的图像作为标记，对图像进行形态学闭重构操作；在对图像进行平滑处理以后，再结合不同精度下的距离变换及分水岭分割算法对图像进行分割。根据数理统计原理，对分割后每个区域的尺寸大小进行统计，利用每个区域的尺寸大小值的数量来描述尺寸分布。
步骤2：基于密集连接网络和迁移学习的深层特征提取。
首先将泡沫图像的大小调整为512×512，然后对其进行中心裁剪操作，得到泡沫的尺寸为224×224，最后将图像进行归一化处理。接着就是将预处理完的图像数据按每批次32张样本图像随机送入预训练的DenseNet121模型进行训练，提取浮选泡沫图像的深层特征。通过记录全连接层的节点输出，得到了三个特征向量，维度分别为1×1000、1×512和1×4，这些特征将会用于后续工况识别的判别，通过将所得特征用于分类器模型对工况进行分类，当把1×512维的特征向量用于分类器进行工况识别时，得到的识别准确率最高，说明此时特征所包含的信息更能反映浮选过程的工况信息，因此将维度维1×512的特征向量作为浮选泡沫图像的深层特征。
步骤3：基于密集连接网络决策树的工况识别。
基于串行连接-堆叠自编码器的二阶段多特征融合：
将颜色纹理、尺寸等浅层特征进行融合，然后再将融合后的浅层特征与深层特征进行融合，首先将各单一特征向量进行串行连接得到具有更多图像信息的高维特征向量，然后通过堆叠自编码器将含有大量信息冗余和噪声的高维特征数据进行降维，尽可能保留有用信息，用低维的向量表示原始数据，去除变量之间的相关性和冗余信息，通过串行连接、堆叠自编码器二阶段多特征融合方法对特征进行融合降维。
其中，在串行连接中，假设有两个特征向量T1、T2，如式(7)、(8)。对这两个特征向量进行串行连接融合，融合后得到的特征向量为T，如式(9)。
T1＝[t11,t12,...,t1p] (7)
T2＝[t21,t22,...,t2q] (8)
T＝[T1,T2]＝[t11,t12,...,t1p,t21,t22,...,t2q] (9)
将特征向量进行串行连接融合过程如附图2所示，融合前两个特征向量的维度分别为p、q，融合完以后得到的特征向量维度为p+q。
在二阶段融合中，第一阶段，对颜色纹理和尺寸等浅层特征的融合。首先，将颜色纹理特征和尺寸特征进行串行连接融合，得到具有更多有用信息的特征；然后，使用堆叠自编码器对融合后的特征进行降维，得到具有更少冗余和噪声信息、更加抽象的高级特征。第二阶段，对融合后的浅层特征与深层特征进行融合。首先，将融合后的浅层特征与深层特征进行串行连接融合；然后，使用堆叠自编码器对融合后的特征进行降维，得到最终用于工况识别的特征数据。基于串行连接-堆叠自编码器的多特征融合过程如图3所示。
假设颜色纹理特征、尺寸特征与深层特征向量分别由式(10)、(11)和(12)表示：
Tct＝[tct1,tct2,...,tct25] (10)
Ts＝[ts1,ts2,...,ts30] (11)
Tdp＝[tdp1,tdp2,...,tdp512] (12)
(1)浅层特征融合
首先将颜色纹理和尺寸特征进行串行连接融合，得到浅层融合特征，由式(13)给出：
Tf1＝[Tct,Ts]＝[tct1,tct2,...,tct25,ts1,ts2,...,ts30] (13)
其中Tf1为浅层融合特征
然后将融合特征Tf1作为堆叠自编码器的输入进行数据降维，对堆叠自编码器进行训练，得到融合降维后的特征，如式(14)：
Tad1＝[tad11,tad12,...,tad15] (14)
其中Tad1为第一阶段融合降维后的特征。
(2)浅层特征与深层特征融合
将融合完以后的浅层特征与深层特征进行串行连接融合，得到最终用于分类器分类的特征，如式(15)：
Tf2＝[Tad1,Tdp]＝[tad1,tad2,...,tad15,tdp1,tdp2,...,tdp512] (15)
其中Tf2为融合的浅层特征与深层特征融合后的特征。
然后将融合特征Tf2作为堆叠自编码器的输入进行数据降维，对堆叠自编码器进行训练，得到融合降维后的特征，如式(16)：
Tad2＝[tad21,tad22,...,tad2205] (16)
其中Tad2为第二阶段融合降维后的特征。
工况识别：
基于密集连接网络决策树的工况识别的核心在于构建特定损失函数最小的决策树。考虑由N个样本组成的训练集D，
D＝{(x1,y1),(x2,y2),…,(xn,yn)}，其中x表示输入，y表示标签，x中有许多属性，属性集A＝{a1,a2,…,am}，其中a表示某一个属性，m表示属性的个数。将训练集D和属性集A作为输入训练决策树模型。
训练决策树的关键在于如何选择最优划分属性。本发明采用信息熵来划分属性。假定当前样本集合D中第K类样本所占的比例为Pk(k＝1,2,…,|y|)，则D的信息熵定义由式(17)给出：
其中Ent(D)的值越小，则D的纯度越高。
信息增益直接以信息熵为基础，计算当前划分对信息熵所造成的变化。以属性a对样本集D进行划分所获得的信息增益如式(18)所示：
其中，离散属性a的取值为{a1,a2,…,av,…,aV}，av为属性a的第v个属性值，属性a中总共有V个属性值。信息增益越大，则使用属性a来进行划分所获得的纯度提升越大。在构建了特定损失函数最小的决策树的基础上，则可使用分类模型对浮选工况进行识别。
实例1：以某冶炼厂硫浮选过程为例测试工况识别方法，改过程的工艺流程图如附图4所示，图像采集系统如附图5所示。系统主要由摄像机、光纤、光源和计算机组成。由于最终硫精矿品位主要取决于二次精选槽的状态，因此将摄像头安装在二次精选槽上方，摄像头为RGB相机，分辨率为1280×960，35mm镜头，摄像机垂直安装在目标单元泡沫表面上方96.5cm处，以15帧/秒的速度在线捕捉窗口大小为24.26×18.2cm2的泡沫图像。
摄像机拍摄得到的是硫浮选泡沫视频图像，泡沫视频不能作为工况识别的输入，因此我们采用截取视频中关键帧的方式制作泡沫图像数据集。首先获取每个视频的关键帧图像，然后通过人工经验观察泡沫图像的表观特征对截取的关键帧进行一个分类，最终得到包括四类具有不同性能的泡沫图像，共750张硫浮选泡沫图像(包括30张工况1图像、300张工况2图像、190张工况3图像和230张工况4图像)，我们按照8:2的比例将750张泡沫图像分为了训练集和测试集，其中训练集600张，测试集150张。
为了量化本发明和其他方法的性能，使用了准确率、精确率、回召率和F1分数四个评估指标。
准确率表示预测正确的样本占总样本的百分比，公式如式(19)：
其中TP为真正类，TN为真负类，FP为假正类，FN为假负类。
精确率表示被预测为正的样本中实际为正的样本的概率，公式如式(20)：
回召率表示实际为正的样本中被预测为正样本的概率，公式如式(21)：
F1分数表示精确率和回召率的调和平均值，公式如式(22)：
我们采用本发明的基于深浅层特征融合密集连接网络决策树(Deep and ShallowFeature Fusion Densely Connected Network Decision Tree，DSFF-DenseNet-DT)的工况识别方法进行了10次对比实验，为了避免实验的偶然性，取10次实验的平均值作为最终的实验结果，实验结果如表1所示。实验结果表明所提方法在四个评价指标上均高于其他方法，准确率、精准率和回召率至少提高了6.67％、9.2％和9.6％，F1分数至少提高了0.094。一方面，深层特征可以给分类器带来更多的细节信息，另外一方面，多特征融合可以让各特征互补融合，具有更多对分类器有用的信息。因此，本文提出的方法对矿物浮选过程工况识别是有效的，并且在性能上优于其他的方法。表1中其他方法的全称分别为颜色纹理分布密集连接网络决策树(Color Texture Distribution DenseNet-DT，CTD-DenseNet-DT)，尺寸分布密集连接网络决策树(Size Distribution DenseNet-DT，SD-DenseNet-DT)，深层特征密集连接网络决策树(Deep Feature DenseNet-DT，DF-DenseNet-DT)，浅层特征融合密集连接网络决策树(Shallow Fusion Feature DenseNet-DT，SFF-DenseNet-DT)。
表1工况识别实验结果
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
Claims (8)
1.一种基于深浅层特征融合的浮选过程工况识别方法，其特征在于：包括以下步骤：
S01：基于改进非参数核密度估计的浅层特征提取；
包括：颜色特征提取、纹理特征提取、颜色纹理特征提取和尺寸分布特性提取；
S02：基于密集连接网络和迁移学习的深层特征提取；
包括调整泡沫图像大小，并将该泡沫图像归一化处理，将预处理完的图像数据送入模型进行训练，提取浮选泡沫图像的深层特征，通过记录全连接层的节点输出，得到了三个特征向量，特征将会用于后续工况识别的判别，通过将所得特征用于分类器模型对工况进行分类，获得最佳特征，该最佳特征作为浮选泡沫图像的深层特征；
S03：基于密集连接网络决策树的工况识别；
包括：
基于串行连接-堆叠自编码器的二阶段多特征融合；
工况识别：基于密集连接网络决策树的工况识别的核心在于构建特定损失函数最小的决策树。
2.根据权利要求1所述的一种基于深浅层特征融合的浮选过程工况识别方法，其特征在于，在步骤S01中的颜色特征提取，把浮选现场采集到的泡沫图像根据式(1)从RGB空间转换到HSV空间；
式(1)：
R≠B或G≠B
其中，R、G、B分别指代表红、绿、蓝三个通道的颜色，H、S、V分别指色彩、深浅、明暗三个直观颜色特性。
3.根据权利要求2所述的一种基于深浅层特征融合的浮选过程工况识别方法，其特征在于，在步骤S01中的纹理特征提取，定义纹理单元TU＝(E1…E8)，其中Ei的计算如式(2)所示：
定义NTU为纹理单元数，则由式(3)可知其范围为[0,6560]:
假设浮选动态系统的输入为u(t)∈Rm，输出为x(t)∈[a,b]，则输出x(t)在[a,b]范围的概率如式(4)所示：
其中，u(t)是控制输入，即浮选过程中的矿浆底流流量调节值，反映在泡沫层厚度的变化上；x(t)是浮选泡沫图像的实际纹理单元数；fker(x,u)为泡沫图像的实际纹理单元分布(即纹理单元数的概率密度分布)。
通过式(5)可估计实际纹理单元分布：
其中，为逼近的泡沫纹理单元分布函数，/>是第i个核函数，h是核函数的带宽，wi是对应于第i个核函数的权值，Xi是对应于第i个核函数的x轴中心点，/>
4.根据权利要求3所述的一种基于深浅层特征融合的浮选过程工况识别方法，其特征在于，关于颜色纹理特征提取，将摄像机采集的RGB泡沫图像按照式(1)转换到HSV颜色空间，获得了泡沫图像中每个像素点的色调H、饱和度S以及亮度V三个分量。然后对HSV空间进行非等间隔量化，H、S、V分别被量化为34级(0-33)、10级(0-9)、7级(0-6)。然后，通过式(6)构建一个新的颜色变量：
C＝6H+5S+2V (6)
其中，C的取值范围为[0,255],并基于式(5)获得泡沫图像颜色纹理分布。
5.根据权利要求4所述的一种基于深浅层特征融合的浮选过程工况识别方法，其特征在于，关于尺寸分布特性提取：先将工业现场采集的泡沫图像转换为灰度图像；在灰度图像的基础上，分别进行形态学腐蚀和膨胀操作；以膨胀后的图像作为标记，对图像进行形态学闭重构操作；在对图像进行平滑处理以后，再结合不同精度下的距离变换及分水岭分割算法对图像进行分割。根据数理统计原理，对分割后每个区域的尺寸大小进行统计，利用每个区域的尺寸大小值的数量来描述尺寸分布。
6.根据权利要求1所述的一种基于深浅层特征融合的浮选过程工况识别方法，其特征在于，在步骤S02中，具体如下：首先将泡沫图像的大小调整为512×512，然后对其进行中心裁剪操作，得到泡沫的尺寸为224×224，最后将图像进行归一化处理。接着就是将预处理完的图像数据按每批次32张样本图像随机送入预训练的DenseNet121模型进行训练，提取浮选泡沫图像的深层特征。通过记录全连接层的节点输出，得到了三个特征向量，维度分别为1×1000、1×512和1×4，这些特征将会用于后续工况识别的判别，通过将所得特征用于分类器模型对工况进行分类，当把1×512维的特征向量用于分类器进行工况识别时，得到的识别准确率最高，说明此时特征所包含的信息更能反映浮选过程的工况信息，因此将维度维1×512的特征向量作为浮选泡沫图像的深层特征。
7.根据权利要求1所述的一种基于深浅层特征融合的浮选过程工况识别方法，其特征在于，基于串行连接-堆叠自编码器的二阶段多特征融合：将颜色纹理、尺寸等浅层特征进行融合，然后再将融合后的浅层特征与深层特征进行融合，首先将各单一特征向量进行串行连接得到具有更多图像信息的高维特征向量，然后通过堆叠自编码器将含有大量信息冗余和噪声的高维特征数据进行降维，用低维的向量表示原始数据，去除变量之间的相关性和冗余信息，通过串行连接、堆叠自编码器二阶段多特征融合方法对特征进行融合降维。
8.根据权利要求7所述的一种基于深浅层特征融合的浮选过程工况识别方法，其特征在于，工况识别：基于密集连接网络决策树的工况识别的核心在于构建特定损失函数最小的决策树，考虑由N个样本组成的训练集D，D＝{(x1,y1),(x2,y2),...,(xn,yn)}，其中x表示输入，y表示标签，x中有许多属性，属性集A＝{a1,a2,...,am}，其中a表示某一个属性，m表示属性的个数,将训练集D和属性集A作为输入训练决策树模型。
训练决策树的关键在于如何选择最优划分属性,采用信息熵来划分属性，假定当前样本集合D中第K类样本所占的比例为Pk(k＝1,2,...,|y|)，则D的信息熵定义由式(17)给出：
其中Ent(D)的值越小，则D的纯度越高。
信息增益直接以信息熵为基础，计算当前划分对信息熵所造成的变化,以属性a对样本集D进行划分所获得的信息增益如式(18)所示：
其中，离散属性a的取值为{a1,a2,...,av,...,aV}，av为属性a的第v个属性值，属性a中总共有V个属性值,信息增益越大，则使用属性a来进行划分所获得的纯度提升越大。在构建了特定损失函数最小的决策树的基础上，则可使用分类模型对浮选工况进行识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311489758.1A CN117496436A (zh) | 2024-01-02 | 2024-01-02 | 一种基于深浅层特征融合的浮选过程工况识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311489758.1A CN117496436A (zh) | 2024-01-02 | 2024-01-02 | 一种基于深浅层特征融合的浮选过程工况识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117496436A true CN117496436A (zh) | 2024-02-02 |
Family
ID=89672272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311489758.1A Pending CN117496436A (zh) | 2024-01-02 | 2024-01-02 | 一种基于深浅层特征融合的浮选过程工况识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117496436A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807443A (zh) * | 2024-02-29 | 2024-04-02 | 江苏海平面数据科技有限公司 | 拖拉机工况识别模型的训练方法及拖拉机工况识别方法 |
-
2024
- 2024-01-02 CN CN202311489758.1A patent/CN117496436A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117807443A (zh) * | 2024-02-29 | 2024-04-02 | 江苏海平面数据科技有限公司 | 拖拉机工况识别模型的训练方法及拖拉机工况识别方法 |
| CN117807443B (zh) * | 2024-02-29 | 2024-05-14 | 江苏海平面数据科技有限公司 | 拖拉机工况识别模型的训练方法及拖拉机工况识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113538429B (zh) | 基于图像处理的机械零件表面缺陷检测方法 | |
| CN107341463B (zh) | 一种结合图像质量分析与度量学习的人脸特征识别方法 | |
| CN109272500B (zh) | 基于自适应卷积神经网络的织物分类方法 | |
| CN112819802B (zh) | 基于风口信息深度学习的监督及预测高炉炉况异常的方法 | |
| CN117496436A (zh) | 一种基于深浅层特征融合的浮选过程工况识别方法 | |
| CN106934418B (zh) | 一种基于卷积递归网络的绝缘子红外诊断方法 | |
| CN111242242B (zh) | 一种基于置信度选择的宫颈组织病理全玻片图像自动分类方法 | |
| CN101216943B (zh) | 一种视频运动目标分割的方法 | |
| CN112241679A (zh) | 一种垃圾自动分类的方法 | |
| CN111325661A (zh) | 一种名为msgan的图像的季节风格转换模型及方法 | |
| CN102938053A (zh) | 一种基于计算机视觉的甘蔗特征提取与识别方法 | |
| CN113435486A (zh) | 一种基于pca-ifoa-svm结合灰度-纹理融合特征的煤矸识别方法 | |
| CN110956086B (zh) | 一种基于图像识别技术的机房设备在线识别方法 | |
| CN116596891A (zh) | 基于半监督多任务检测的木地板颜色分类及缺陷检测方法 | |
| CN116468935A (zh) | 一种基于多核卷积网络的交通标志阶梯式分类识别方法 | |
| CN115496816A (zh) | 一种序列服饰图像主题色自适应提取方法 | |
| CN108154188B (zh) | 基于fcm的复杂背景下人工文本提取方法 | |
| CN115439690A (zh) | 一种结合CNN和Transformer的烤烟烟叶图像分级方法 | |
| CN115761459A (zh) | 一种面向桥隧表观病害识别的多场景自适应方法 | |
| CN113095332B (zh) | 一种基于特征学习的显著性区域检测方法 | |
| CN115049865A (zh) | 基于计算机视觉的烟叶分级方法和系统 | |
| CN114581769A (zh) | 一种基于无监督聚类的在建房屋识别方法 | |
| CN111523613B (zh) | 水利工程复杂环境下的图像分析抗干扰方法 | |
| CN115082770B (zh) | 一种基于机器学习的图像中心线结构提取方法 | |
| Fan et al. | Flotation Condition Recognition Based on HGNN and Forth Image Dynamic Feature |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |