CN110689020A - 一种矿物浮选泡沫图像的分割方法及电子设备 - Google Patents
一种矿物浮选泡沫图像的分割方法及电子设备 Download PDFInfo
- Publication number
- CN110689020A CN110689020A CN201910960447.6A CN201910960447A CN110689020A CN 110689020 A CN110689020 A CN 110689020A CN 201910960447 A CN201910960447 A CN 201910960447A CN 110689020 A CN110689020 A CN 110689020A
- Authority
- CN
- China
- Prior art keywords
- image
- foam
- segmentation
- feature map
- segmented
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 83
- 238000000034 method Methods 0.000 title claims abstract description 73
- 229910052500 inorganic mineral Inorganic materials 0.000 title claims abstract description 44
- 239000011707 mineral Substances 0.000 title claims abstract description 44
- 238000005188 flotation Methods 0.000 title claims abstract description 36
- 239000006260 foam Substances 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000010586 diagram Methods 0.000 claims abstract description 15
- 238000011176 pooling Methods 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 29
- 238000003709 image segmentation Methods 0.000 claims description 23
- 230000009191 jumping Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 36
- 230000004913 activation Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000009291 froth flotation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000005489 elastic deformation Effects 0.000 description 2
- 239000010423 industrial mineral Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种矿物浮选泡沫图像的分割方法及电子设备。所述分割方法包括：获取待分割泡沫图像；通过提取网络对所述待分割泡沫图像进行特征提取，得到多个特征图；采用处理网络，根据所述多个特征图得到泡沫分割图像。通过提取网络得到待分割泡沫图像的特征图，结合处理网络，解决待分割泡沫图像分辨率低、干扰信息多的问题，基于所述特征图得到泡沫分割图像，能够获得更多的泡沫信息，具有准确性高、可靠性高的优势，解决泡沫图像分辨率低、干扰信息多、泡沫粘连严重带来的分割困难、准确率低等问题。
Description
技术领域
本发明涉及图片处理领域，特别是指一种矿物浮选泡沫图像的分割方法及电子设备。
背景技术
在当今矿产资源日趋枯竭的形势下，高品位矿物资源日益枯竭，国内众多企业纷纷建立了泡沫浮选生产线，以充分利用低品位矿产资源，提高矿物回收率和精矿品位。浮选过程的关键在于：矿物表面润湿性不同，使得矿粒粘附于气泡上升至泡沫层，脉石矿物则不黏附，停留在矿浆中，因此泡沫在这个过程中起到了关键性的作用。
为追求高品位精矿的目标，人们希望能够通过实时监测与关键生产指标密切相关的泡沫表面视觉特征，以判断当前工况并给生产过程提供准确的控制或优化。然而，由于矿物浮选泡沫图像分辨率低、干扰信息多，泡沫粘连严重给泡沫图像的分割带来极大困难，目前的泡沫图像处理方法，例如聚类分析、分水岭、遗传学算法等，难以满足精确分割的要求。
发明内容
有鉴于此，本发明的目的在于提出一种矿物浮选泡沫图像的分割方法及电子设备，能够解决分割精度差的技术问题，提供准确、可靠的分割图像。
基于上述目的本发明提供的一种矿物浮选泡沫图像的分割方法，包括：
获取待分割泡沫图像；
通过提取网络对所述待分割泡沫图像进行特征提取，得到多个特征图；
采用处理网络，根据所述多个特征图得到泡沫分割图像。
进一步的，所述提取网络包括细节层组、多个残差组和池化层，所述细节层组和每一个所述残差组均连接一个所述池化层，所述多个特征图包括细节特征图和抽象特征图；
所述通过提取网络对所述待分割泡沫图像进行特征提取，得到多个特征图，包括：
采用所述细节层组，提取所述待分割泡沫图像的特征，得到所述细节特征图，经池化得到池化细节特征图；
将所述池化细节特征图依次输入所述多个残差组和对应的池化层，得到分辨率依次减小的多个抽象特征图，所述多个抽象特征图分别由所述多个残差组得到。
进一步的，每一个所述残差组对输入的数据依次进行残差映射和恒等映射并融合残差映射和恒等映射处理后的数据，得到对应的抽象特征图。
进一步的，所述处理网络包括多个跳跃融合组和一个分类层；
所述采用处理网络，根据所述多个特征图得到泡沫分割图像，包括：
采用所述多个跳跃融合组，基于所述抽象特征图和所述细节特征图得到待分类特征图；
采用所述分类层，对经过卷积处理的所述待分类特征图中的像素进行分类，根据分类结果得到所述泡沫分割图像。
进一步的，所述多个跳跃融合组依次设置，所述采用所述多个跳跃融合组，基于所述抽象特征图和所述细节特征图得到待分类特征图，包括：
将最小分辨率的抽象特征图经池化处理后输入第一跳跃融合组；
经上采样扩大分辨率后跳跃融合相同分辨率的抽象特征图得到融合特征图输入下一个跳跃融合组，直至上采样后的分辨率等于所述细节特征图的分辨率，跳跃融合所述细节特征图得到所述待分类特征图。
进一步的，所述分类结果包括第一类型和第二类型，所述第一类型和第二类型分别对应泡沫的边界轮廓和泡沫。
进一步的，还包括：
获取泡沫图像样本集和对应的分割图像样本集；
根据所述泡沫图像样本和对应的分割图像样本，对所述预设图像分割模型进行训练，得到图像分割模型；
所述图像分割模型包括提取网络和处理网络。
进一步的，还包括：
所述根据所述泡沫图像样本和对应的分割图像样本，对所述预设图像分割模型进行训练，得到图像分割模型之前，采用弹性变换扩充所述泡沫图像样本集。
进一步的，还包括，将所述待分割泡沫图像和所述泡沫分割图像分别对应加入所述泡沫图像样本集和所述分割图像样本集。
本发明实施例的第二个方面，提供了一种电子设备，包括：至少一个处理器；以及，
与所述至少一个处理器连接的存储器；其中，
所述存储器存储可被所述一个处理器执行指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的分割方法。
从上面所述可以看出，本发明实施例提供的一种矿物浮选泡沫图像的分割方法及电子设备，通过提取网络得到待分割泡沫图像的特征图，结合处理网络，解决待分割泡沫图像分辨率低、干扰信息多的问题，基于所述特征图得到泡沫分割图像，能够获得更多的泡沫信息，具有准确性高、可靠性高的优势，解决泡沫图像分辨率低、干扰信息多、泡沫粘连严重带来的分割困难、准确率低等问题。
附图说明
图1为本发明实施例提供的一种矿物浮选泡沫图像的分割方法的流程图；
图2为本发明实施例提供的一种获得多个特征图的流程示意图；
图3为本发明实施例提供的一种处理特征图的流程示意图；
图4为本发明实施例提供的一种提取网络和处理网络的结构示意图；
图5A为本发明实施例提供的泡沫图像示意图；图5B为图5A的分割图像；
图6A为本发明实施例提供的待分割泡沫图像示意图；图6B为图6A经提取网络和处理网络分割得到的泡沫分割图像；
图7为本发明提供的执行所述矿物浮选泡沫图像的分割方法的电子设备的一个实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
所谓图像分割，指的是把图像分成若干个特定的、具有独特性质的区域，并提出感兴趣目标的技术和过程。而在本发明实施例中，主要指的是对矿物浮选泡沫图像进行分割，找出泡沫及其边界得到泡沫分割图像。利用泡沫分割图像，提取与浮选过程变量和性能指标密切相关的泡沫尺寸特征，对优化浮选加药控制、提高精矿品位、降低尾矿品位有重要指导意义。
本发明实施例提供一种矿物浮选泡沫图像的分割方法及电子设备。其中，该电子设备可以集成在网络设备中，该网络设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、以及个人计算(PC，Personal Computer)等设备。
为了获得准确可靠的泡沫分割图像，本发明实施例的第一个方面，提出了一种矿物浮选泡沫图像的分割方法。如图1所示，为本发明提供的矿物浮选泡沫图像的分割方法的一个实施例的流程示意图。
所述矿物浮选泡沫图像的分割方法，包括：
步骤101：获取待分割泡沫图像。
基于矿物浮选的现场环境，搭建矿物浮选泡沫图像在线采集系统，收集特定光照环境下的影像资料。例如，当所述在线采集系统包括照相机时，所述照相机拍摄的矿物浮选的泡沫照片，可以作为所述待分割泡沫图像；当所述在线采集系统包括录像机时，截取录像得到的视频中的某一时刻的图像，也可以作为所述待分割泡沫图像。
所述待分割泡沫图像可以通过所述在线采集系统实时获取，也可以通过调取网络设备或终端中存储的泡沫照片或图像而获取。
步骤102：通过提取网络对所述待分割泡沫图像进行特征提取，得到多个特征图。
步骤103：采用处理网络，根据所述多个特征图得到泡沫分割图像。
从以上实施例可以看出，本发明实施例提供的一种矿物浮选泡沫图像的分割方法，通过提取网络得到待分割泡沫图像的特征图，结合处理网络，解决待分割泡沫图像分辨率低、干扰信息多的问题，基于特征图得到泡沫分割图像，能够获得更多的泡沫信息，具有准确性高、可靠性高的优势，解决泡沫图像分辨率低、干扰信息多、泡沫粘连严重带来的分割困难、准确率低等问题。
如图2所示，在本发明的一些实施例中，所述提取网络包括细节层组、多个残差组和池化层，所述细节层组和每一个所述残差组均连接一个所述池化层，所述多个特征图包括细节特征图和抽象特征图；
所述通过提取网络对所述待分割泡沫图像进行特征提取，得到多个特征图，包括：
步骤201：采用所述细节层组，提取所述待分割泡沫图像的特征，得到所述细节特征图，经池化得到池化细节特征图。
可选的，所述细节层组包括三层卷积层，分别是Conv1、Conv2和Conv3，三个卷积层的卷积核的大小为5×5，步长为2，激活函数为relu函数，卷积核的个数分别为64、128、128。同时，padding设置为same，即卷积后得到的细节特征图的大小和待分割泡沫图像的大小一致。
需要说明的是，所述池化层都使用最大池化(max_pooling)操作。可选的，池化核的大小为2×2，步长为2，最大池化操作后细节特征图像的分辨率变为原来的
步骤202：将所述池化细节特征图依次输入所述多个残差组和对应的池化层，得到分辨率依次减小的多个抽象特征图，所述多个抽象特征图由所述多个残差组分别得到。
例如，如图4所示，残差组的个数是四个，那么步骤202中的池化层的个数也是四个。可选的，四个残差组可以是Conv4_x、Conv5_x、Conv6_x和Conv7_x。每个残差组中包含3个残差单元且每个残差单元卷积后特征图像的大小不变。Conv4_x中每个残差单元对应的卷积核大小、步长、卷积核个数、激活函数分别为：1×1、1、64、relu函数，3×3、2、64、relu函数，1×1、1、256、relu函数；Conv5_x中每个残差单元对应的卷积核大小、卷积核个数、步长、激活函数分别为：1×1、1、128、relu函数，3×3、2、128、relu函数，1×1、1、512、relu函数；Conv6_x中每个残差单元对应的卷积核大小、卷积核个数、步长、激活函数分别为：1×1、1、256、relu函数，3×3、2、256、relu函数，1×1、1、1024、relu函数；Conv7_x中每个残差单元对应的卷积核大小、卷积核个数、步长、激活函数分别为：1×1、1、512、relu函数，3×3、2、512、relu函数，1×1、1、4096、relu函数。相应的，四个池化层都使用最大池化(max_pooling)操作，池化核的大小为2×2，步长为2，最大池化操作后特征图像的分辨率变为原来的
应当说明的是，在本实施例的技术方案中，残差组Conv4_x的输入数据是所述池化细节特征图，输出数据是第四抽象特征图；所述第四抽象特征图经池化后输入残差组Conv5_x，残差组Conv5_x输出第五抽象特征图；所述第五抽象特征图经池化后输入残差组Conv6_x，依此类推。可见，虽然残差组本身不改输入特征图和输出特征图的大小，但是由于每一个残差组均连接一个池化层，所述池化层能够减少特征图的分辨率，导致输入下一个残差组的特征图分辨减小，由此得到分辨率依次减小的多个抽象特征图。
通过设置细节层组提取待分割泡沫图像的细节特征，例如轮廓、边、角等特征；加入残差组使得所述提取网络具有更深的网络结构，使得其能够提取更待分割泡沫图像中包括的抽象特征。这样的设置，即便是处理低分辨率图像，也能够既提取待分割泡沫图像的细节特征，又能够有效避免干扰信息的干扰，有效提取待分割泡沫图像包含的特征。
在本发明的一些实施例中，每一个所述残差组对输入的数据依次进行残差映射和恒等映射并融合残差映射和恒等映射处理后的数据，得到对应的抽象特征图。
例如，残差组每个残差单元的残差映射与恒等映射进行特征融合的计算公式表示如下：
对每个残差单元的输入X做一个引用，用于恒等映射的输入，在残差单元中一共含有3个卷积层分别设其权重为W1、W2、W3，激活函数relu表示为σ，则卷积层Conv x_1输出值
计算公式为：
卷积层Conv x_2输出值
计算公式为：
由于卷积层Conv x_3输出值
与恒等映射输出值进行加和后做relu运算，所以需要对卷积层Conv x_3的输出特征维度与恒等映射输入值X的特征维度是否相同进行讨论，当两者的特征维度(channel)相同时，残差单元特征融合的计算公式：
当两者的特征维度(channel)不同时，残差单元特征融合的计算公式：
其中WsX表示对恒等映射的输入X做一个线性变换Ws，相当于对恒等映射的输入X做一次卷积操作，使两者特征图像的通道维度(channel)相同。
参考图3，在本发明的一些实施例中，所述处理网络包括多个跳跃融合组和一个分类层；应当理解的，所述处理网络串联在所述提取网络之后；
所述采用处理网络，根据所述多个特征图得到泡沫分割图像，包括：
步骤301：采用所述多个跳跃融合组，基于所述抽象特征图和所述细节特征图得到待分类特征图；
步骤302：采用所述分类层，对经过卷积处理的所述待分类特征图中的像素进行分类，根据分类结果得到所述泡沫分割图像。例如，通过分类层，可以将64维度的特征向量转换为2个分类结果，实现对特征图中的像素分类。
借助跳跃融合组，充分利用所述抽象特征图和所述细节特征图，得到更厚的泡沫特征图；经卷积处理进一步提取泡沫特征，最后利用分类层对特征图进行像素的分类并产生泡沫分割图像，有效保障泡沫分割图像的准确性和可靠性。
在本发明的一些实施例中，所述分类结果包括第一类型和第二类型，所述第一类型和第二类型分别对应泡沫的边界轮廓和泡沫。这里，本领域技术人员能够理解的，所述第一类型和所述第二类型可以对应灰白的像素值，其中，灰色部分表示泡沫之间的边界轮廓，白色部分表示泡沫。
在本发明的一些实施例中，所述多个跳跃融合组依次设置，所述采用所述多个跳跃融合组，基于所述抽象特征图和所述细节特征图得到待分类特征图，包括：
将最小分辨率的抽象特征图经池化处理后输入第一跳跃融合组；
经上采样扩大分辨率后跳跃融合相同分辨率的抽象特征图得到融合特征图输入下一个跳跃融合组，直至上采样后的分辨率等于所述细节特征图的分辨率，跳跃融合所述细节特征图得到所述待分类特征图。
进一步的，利用卷积进一步提取输入的融合特征图的特征后(如果是第一跳跃融合组，输入的是经池化处理的最小分辨率的抽象特征图)，使用上采样操作将卷积处理后的融合特征图的分辨率扩大，采用跳跃连接的方法拼接提取网络中残差组输出的分辨率相等的抽象特征图，形成更厚的泡沫特征图，还原待分割泡沫图像特征的细节和空间信息。这里的拼接，可以是在通道维度(channel)上的拼接。
可选的，使用线性插值法进行上采样操作，能够将特征图像的分辨率扩大2倍，以还原特征图像的空间信息。线性插值法的计算公式如下所示：
在特征图像上想得到未知函数f在点P＝(x,y)的值，假设已知函数f在Q11＝(x1,y1)、Q12＝(x1,y2)、Q21＝(x2,y1)、Q22＝(x2,y2)四个点的值。首先，在x方向上进行线性插值，得到：
然后在y方向上进行线性插值，得到：
由x方向和y方向上的线性插值结果，可得双线性插值的计算公式为：
在本发明的一些实施例中，所述处理网络包括五个跳跃融合组、两个卷积层和一个分类层，且每个跳跃融合组包括二个卷积层和一个跳跃融合层。其中，一个跳跃融合层对应一次上采样和一次跳跃融合。
可选的，所述处理网络中全部十二个卷积操作的卷积核大小、步长、激活函数都相同且卷积操作不改变图像的大小，卷积核大小、步长、激活函数为：5×5、2、relu函数；卷积核个数分别为：64、128、128、256、256、512、512、1024、1024、2048、1024、2048。这里，卷积核对应的卷积层按照由分类层向跳跃融合组的方向排列(参考图4)。
可选的，所述分类层的卷积操作的卷积核大小、卷积核个数、步长、激活函数为：1×1、1、1、sigmoid函数。激活函数使用sigmoid函数进行二分类。
为了更清楚的说明本发明中实施例的上采样和跳跃融合的实现方式，以下举例说明。
如图4所示，对于五个跳跃融合，使用拼接的方式是将特征在通道(channel)维度拼接在一起，形成更厚的特征。五个跳跃特征融合分别为提取网络的残差组Conv7_x输出的32×32×4096维度的特征与第一次上采样32×32×1024的维度的特征拼接形成32×32×5120维度的特征；提取网络的残差组Conv6_x输出的64×64×1024维度的特征与第二次上采样64×64×1024的维度的特征拼接形成64×64×2048维度的特征；提取网络的残差组Conv5_x输出的128×128×512维度的特征与第三次上采样128×128×512的维度的特征拼接形成128×128×1024维度的特征；提取网络的残差组Conv4_x输出的256×256×256维度的特征与第四次上采样256×256×256的维度的特征拼接形成256×256×512维度的特征；提取网络的细节层组输出的512×512×128维度的特征与第五次上采样512×512×128的维度的特征拼接形成512×512×256维度的特征。
在本发明的一些实施例中，还包括：
获取泡沫图像样本集和对应的分割图像样本集；
需要说明的是，所述泡沫图像样本集中的泡沫图像样本(参见图5A)的获取方式与获取待分割泡沫图像的方式相同，此处不再赘述。
对于对应的分割图像样本集中的分割图样样本(参见图5B)，可以利用Photoshop软件人工描绘图像中的泡沫图像的边界。这种方式，能够保证分割图像样本集中的样本泡沫图像边界准确，避免因样本自身的误而导致无法对待分割泡沫图像进行准确的分割。
根据所述泡沫图像样本和对应的分割样本，对所述预设图像分割模型进行训练，得到图像分割模型；所述图像分割模型包括提取网络和处理网络。
在本发明的一些实施例中，还包括：
所述根据所述泡沫图像样本和对应的分割图像样本，对所述预设图像分割模型进行训练，得到图像分割模型之前，采用弹性变换扩充所述泡沫图像样本集。
弹性变换采取数据增强的算法使预设图像分割模型学习训练数据形变的不变性，可以在分割数据集很小的情况下，使提取网络和处理网络具有遇见弹性形变还是可以准确的检测出泡沫图像的特征，在遇见弹性变形的网络一样可以正确的分类分割泡沫图像。
在本发明的一些实施例中，在训练预设图像分割模型的过程中，优化器使用损失函数的值对网络参数进行优化，损失函数的计算公式如下：
E＝∑x∈Ωω(x)logpl(x)(x)
其中，ak(x)指在第k个通道中位置为x∈Ω，
的值，K为分类的类别数，l的取值范围为{1,…,k}。
ω(x)指每个像素的权重值，越重要的像素点对应的权重越大，其中wc:是平衡类别比例的权值，d1:是像素点到距离其最近的泡沫的距离，d2:
则是像素点到距离其第二近的泡沫的距离，w0和σ是常数值，在实验中w0＝10，σ≈5。
可选的，网络的优化器(optimizer)使用随机梯度下降(SGD)算法优化整个预设图像分割模型的损失函数，迭代训练4000次后，得到训练好的图像分割模型。
在本发明的一些实施例中，还包括，将所述待分割泡沫图像(参见图6A)和所述泡沫分割图像(参见图6B)分别对应加入所述泡沫图像样本集和所述分割图像样本集。这样的技术方案，能够提取网络和处理网络进行在线更新与训练，提高分割结果的准确性。
需要说明的是，本发明实施例的矿物浮选泡沫图像的分割方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的矿物浮选泡沫图像的分割方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本发明实施例的矿物浮选泡沫图像的分割方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的矿物浮选泡沫图像的分割方法。
为便于本领域技术人员整体理解本发明的技术构思，以下结合具体实施例进行说明。
步骤1，采集泡沫图像构建数据集。
按照前述的方法获取待分割泡沫图像集、训练集(包括泡沫图像样本集和对应的分割图像样本集)。其中，训练集中的图片数占数据集图片的90％，测试集中的图片数占数据集图片数10％，每个数据集中图片大小均为512×512像素。
步骤2，构建预设图像分割模型。
参考图4，本步骤的具体实现过程如下：首先，提取网络使用3个卷积(对应细节层组)和1个池化操作来提取原始泡沫图像的轮廓、边、角等特征(对应细节特征图)，然后，连接4个残差组使网络层数大大加深，能提取更为抽象的特征。每个残差组连接1个池化操作，即提取网络是由3个卷积层、4个残差组和4个池化层构成。提取网络结构与参数设置如表1所示：
表1提取网络结构与参数设置
处理网络串联在提取网络之后，分别使用了5次上采样操作，每次上采样的结果都跳跃融合提取网络残差组输出的相同分辨率特征，形成更厚的泡沫特征来还原泡沫特征的细节和空间信息，每次特征融合后前都经过二次卷积操作，提取泡沫的特征，分类层实现像素级别的分类。因此，处理网络是由13个卷积(其中一个是分类层)、5个上采样、5个跳跃融合构成。具体包括网络结构和参数设置表2所示：
表2处理网络的结构和参数设置
步骤3，训练网络模型。
具体方法和优化函数参见前述，不再赘述。
步骤4，测试模型性能，获得测试结果。
将测试集图像(待分割泡沫图像数据集)输入到训练好的模型中，输出图像的分割结果，并使用正确率TPR和误差率EPR性能指标对分割算法进行评价，计算公式如下：
其中，Num(x)为(x)集合中的数量，Wp为正确分割的泡沫目标集合，WTp为分割算法检测的泡沫目标集合，abs(x)表示对(x)取绝对值，WIN为人工分割的泡沫目标集合，WON为分割算法检测到的泡沫目标集合。
需要说明的是，Wp可以通过以下的方法计算得到：假设人工分割的泡沫图像为A(默认人工分割的泡沫全部正确)，图像分割模型分割的泡沫图像为B；调用Matlab里的函数能够直接计算出A和B的参数，这里，参数可以包括泡沫大小、个数、面积等；A与B之间计算的参数进行对比，得到B中有多少个泡沫在A中，也就是正确分割的泡沫目标集合Wp。此处，调用的函数可以是regionprop，本领域技术人员能够理解，regionprop仅是列举，而不在于限定。
举例来说，本实验例针对三种不同泡沫数量和分裂状态的矿物浮选泡沫图像1、图像2和图像3，进行了人工分割泡沫数量检测和本发明方法的图像泡沫分割检测；采用本发明实施例的方法进行分割，并获取了对应的正确率TPR和获取误差率EPR指标如表3所示。可见，本发明方法分割矿物浮选泡沫图像的准确率高，能够满足现场需求。
表3人工检测与本发明方法检测正确率与误差率对比结果
由此可见，本发明实施例对矿物浮选泡沫图像分割有较好的分割效果，能有效的提取泡沫图像的轮廓信息，对泡沫图像的边缘进行有效的分割，提高矿物浮选泡沫图像的准确性、客观性和可靠性。
本发明实施例的泡沫分割图像可以为工业矿物生产充分利用低品位矿产资源，提高矿物回收率和精矿品位提供必要的信息，提高工业矿物生产的效率。
本发明通过引入残差组、线性插值进行上采样、跨层跳跃连接特征和弹性网络扩充网络训练的数据集提高了网络对泡沫图像信息的提取，解决了泡沫图像分辨率低、干扰信息多带来的分割困难、准确率低等问题，最终大幅度提高泡沫分割准确性，获得更多的泡沫信息。
基于同一发明构思，本发明实施例还提供了一种电子设备，包括至少一个处理器；以及，与所述至少一个处理器连接的存储器；其中，所述存储器存储可被所述一个处理器执行指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的矿物浮选泡沫图像的分割方法。如图7所示，为本发明提供的执行所述矿物浮选泡沫图像的分割方法的电子设备的一个实施例的硬件结构示意图。
如图7所示，所述电子设备包括：
一个或多个处理器701以及存储器702，图7中以一个处理器701为例。
所述执行所述矿物浮选泡沫图像的分割方法的装置还可以包括：输入装置703和输出装置704。
处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述矿物浮选泡沫图像的分割方法对应的程序指令/模块。处理器701通过运行存储在存储器702中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的矿物浮选泡沫图像的分割方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基因样本分析装置的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置703可接收输入的数字或字符信息，以及产生与基因样本分析装置的用户设置以及功能控制有关的键信号输入。输出装置704可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器702中，当被所述一个或者多个处理器701执行时，执行上述任意方法实施例中的矿物浮选泡沫图像的分割方法。
上述实施例的电子设备用于实现前述实施例中相应的矿物浮选泡沫图像的分割方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
本申请实施例提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种矿物浮选泡沫图像的分割方法，其特征在于，包括：
获取待分割泡沫图像；
通过提取网络对所述待分割泡沫图像进行特征提取，得到多个特征图；
采用处理网络，根据所述多个特征图得到泡沫分割图像。
2.根据权利要求1所述的分割方法，其特征在于，所述提取网络包括细节层组、多个残差组和池化层，所述细节层组和每一个所述残差组均连接一个所述池化层，所述多个特征图包括细节特征图和抽象特征图；
所述通过提取网络对所述待分割泡沫图像进行特征提取，得到多个特征图，包括：
采用所述细节层组，提取所述待分割泡沫图像的特征，得到所述细节特征图，经池化得到池化细节特征图；
将所述池化细节特征图依次输入所述多个残差组和对应的池化层，得到分辨率依次减小的多个抽象特征图，所述多个抽象特征图分别由所述多个残差组得到。
3.根据权利要求2所述的分割方法，其特征在于，每一个所述残差组对输入的数据依次进行残差映射和恒等映射并融合残差映射和恒等映射处理后的数据，得到对应的抽象特征图。
4.根据权利要求2所述的分割方法，其特征在于，所述处理网络包括多个跳跃融合组和一个分类层；
所述采用处理网络，根据所述多个特征图得到泡沫分割图像，包括：
采用所述多个跳跃融合组，基于所述抽象特征图和所述细节特征图得到待分类特征图；
采用所述分类层，对经过卷积处理的所述待分类特征图中的像素进行分类，根据分类结果得到所述泡沫分割图像。
5.根据权利要求4所述的分割方法，其特征在于，所述多个跳跃融合组依次设置，所述采用所述多个跳跃融合组，基于所述抽象特征图和所述细节特征图得到待分类特征图，包括：
将最小分辨率的抽象特征图经池化处理后输入第一跳跃融合组；
经上采样扩大分辨率后跳跃融合相同分辨率的抽象特征图得到融合特征图输入下一个跳跃融合组，直至上采样后的分辨率等于所述细节特征图的分辨率，跳跃融合所述细节特征图得到所述待分类特征图。
6.根据权利要求4所述的分割方法，其特征在于，所述分类结果包括第一类型和第二类型，所述第一类型和第二类型分别对应泡沫的边界轮廓和泡沫。
7.根据权利要求1所述的分割方法，其特征在于，还包括：
获取泡沫图像样本集和对应的分割图像样本集；
根据所述泡沫图像样本和对应的分割图像样本，对所述预设图像分割模型进行训练，得到图像分割模型；
所述图像分割模型包括提取网络和处理网络。
8.根据权利要求7所述的分割方法，其特征在于，还包括：
所述根据所述泡沫图像样本和对应的分割图像样本，对所述预设图像分割模型进行训练，得到图像分割模型之前，采用弹性变换扩充所述泡沫图像样本集。
9.根据权利要求7所述的分割方法，其特征在于，还包括，将所述待分割泡沫图像和所述泡沫分割图像分别对应加入所述泡沫图像样本集和所述分割图像样本集。
10.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器连接的存储器；其中，
所述存储器存储可被所述一个处理器执行指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1～9任意一项所述的分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910960447.6A CN110689020A (zh) | 2019-10-10 | 2019-10-10 | 一种矿物浮选泡沫图像的分割方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910960447.6A CN110689020A (zh) | 2019-10-10 | 2019-10-10 | 一种矿物浮选泡沫图像的分割方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110689020A true CN110689020A (zh) | 2020-01-14 |
Family
ID=69111858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910960447.6A Pending CN110689020A (zh) | 2019-10-10 | 2019-10-10 | 一种矿物浮选泡沫图像的分割方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689020A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111408480A (zh) * | 2020-03-20 | 2020-07-14 | 天津美腾科技股份有限公司 | 物料浮选方法、装置及电子设备 |
| CN111524143A (zh) * | 2020-03-27 | 2020-08-11 | 中信重工机械股份有限公司 | 一种泡沫粘连图像区域分割的处理方法 |
| CN113837193A (zh) * | 2021-09-23 | 2021-12-24 | 中南大学 | 一种基于改进U-Net网络的锌浮选泡沫图像分割算法 |
| CN116385455A (zh) * | 2023-05-22 | 2023-07-04 | 北京科技大学 | 基于梯度场标签的浮选泡沫图像实例分割方法和装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090307947A1 (en) * | 2008-06-16 | 2009-12-17 | Aruze Corp. | Display System |
| CN107194898A (zh) * | 2017-06-23 | 2017-09-22 | 携程计算机技术（上海）有限公司 | 酒店图像的展示方法、存储介质及酒店信息的推送方法 |
| CN107392232A (zh) * | 2017-06-23 | 2017-11-24 | 中南大学 | 一种浮选工况分类方法和系统 |
| CN108304921A (zh) * | 2018-02-09 | 2018-07-20 | 北京市商汤科技开发有限公司 | 卷积神经网络的训练方法及图像处理方法、装置 |
| CN108765425A (zh) * | 2018-05-15 | 2018-11-06 | 深圳大学 | 图像分割方法、装置、计算机设备和存储介质 |
| CN109101975A (zh) * | 2018-08-20 | 2018-12-28 | 电子科技大学 | 基于全卷积神经网络的图像语义分割方法 |
| WO2019049060A1 (en) * | 2017-09-08 | 2019-03-14 | Stone Three Mining Solutions (Pty) Ltd | SEGMENTATION OF FOAM IN FLOTATION CELLS |
| CN109583369A (zh) * | 2018-11-29 | 2019-04-05 | 北京邮电大学 | 一种基于目标区域分割网络的目标识别方法及装置 |
-
2019
- 2019-10-10 CN CN201910960447.6A patent/CN110689020A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090307947A1 (en) * | 2008-06-16 | 2009-12-17 | Aruze Corp. | Display System |
| CN107194898A (zh) * | 2017-06-23 | 2017-09-22 | 携程计算机技术（上海）有限公司 | 酒店图像的展示方法、存储介质及酒店信息的推送方法 |
| CN107392232A (zh) * | 2017-06-23 | 2017-11-24 | 中南大学 | 一种浮选工况分类方法和系统 |
| WO2019049060A1 (en) * | 2017-09-08 | 2019-03-14 | Stone Three Mining Solutions (Pty) Ltd | SEGMENTATION OF FOAM IN FLOTATION CELLS |
| CN108304921A (zh) * | 2018-02-09 | 2018-07-20 | 北京市商汤科技开发有限公司 | 卷积神经网络的训练方法及图像处理方法、装置 |
| CN108765425A (zh) * | 2018-05-15 | 2018-11-06 | 深圳大学 | 图像分割方法、装置、计算机设备和存储介质 |
| CN109101975A (zh) * | 2018-08-20 | 2018-12-28 | 电子科技大学 | 基于全卷积神经网络的图像语义分割方法 |
| CN109583369A (zh) * | 2018-11-29 | 2019-04-05 | 北京邮电大学 | 一种基于目标区域分割网络的目标识别方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| LICHEN ZHOU, CHUANG ZHANG, MING WU: "D-LinkNet: LinkNet with Pretrained Encoder and Dilated Convolution for High Resolution Satellite Imagery Road Extraction", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 * |
| LICHEN ZHOU, CHUANG ZHANG, MING WU: "D-LinkNet: LinkNet with Pretrained Encoder and Dilated Convolution for High Resolution Satellite Imagery Road Extraction", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》, 16 December 2018 (2018-12-16), pages 192 - 195 * |
| 温佩芝等: "基于卷积神经网络改进的图像自动分割方法", 《计算机应用研究》 * |
| 温佩芝等: "基于卷积神经网络改进的图像自动分割方法", 《计算机应用研究》, no. 09, 1 September 2017 (2017-09-01) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111408480A (zh) * | 2020-03-20 | 2020-07-14 | 天津美腾科技股份有限公司 | 物料浮选方法、装置及电子设备 |
| CN111524143A (zh) * | 2020-03-27 | 2020-08-11 | 中信重工机械股份有限公司 | 一种泡沫粘连图像区域分割的处理方法 |
| CN111524143B (zh) * | 2020-03-27 | 2023-04-25 | 中信重工机械股份有限公司 | 一种泡沫粘连图像区域分割的处理方法 |
| CN113837193A (zh) * | 2021-09-23 | 2021-12-24 | 中南大学 | 一种基于改进U-Net网络的锌浮选泡沫图像分割算法 |
| CN113837193B (zh) * | 2021-09-23 | 2023-09-01 | 中南大学 | 一种基于改进U-Net网络的锌浮选泡沫图像分割方法 |
| CN116385455A (zh) * | 2023-05-22 | 2023-07-04 | 北京科技大学 | 基于梯度场标签的浮选泡沫图像实例分割方法和装置 |
| CN116385455B (zh) * | 2023-05-22 | 2024-01-26 | 北京科技大学 | 基于梯度场标签的浮选泡沫图像实例分割方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10803554B2 (en) | Image processing method and device | |
| CN110689020A (zh) | 一种矿物浮选泡沫图像的分割方法及电子设备 | |
| TWI773189B (zh) | 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體 | |
| CN112528976B (zh) | 文本检测模型的生成方法和文本检测方法 | |
| CN112801146B (zh) | 一种目标检测方法及系统 | |
| CN112052186B (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN108292362A (zh) | 用于光标控制的手势识别 | |
| CN112434618B (zh) | 基于稀疏前景先验的视频目标检测方法、存储介质及设备 | |
| CN112990203B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN110084204B (zh) | 基于目标对象姿态的图像处理方法、装置和电子设备 | |
| CN111062854B (zh) | 检测水印的方法、装置、终端及存储介质 | |
| CN112101262B (zh) | 一种多特征融合手语识别方法及网络模型 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN107347125B (zh) | 视频图像的处理方法、装置和终端设备 | |
| US20240037898A1 (en) | Method for predicting reconstructabilit, computer device and storage medium | |
| CN111488937A (zh) | 一种基于多尺度邻居深度神经网络的图像匹配方法 | |
| CN110969641A (zh) | 图像处理方法和装置 | |
| CN103955713B (zh) | 一种图标识别方法和装置 | |
| CN112819008B (zh) | 实例检测网络的优化方法、装置、介质及电子设备 | |
| CN113822134A (zh) | 一种基于视频的实例跟踪方法、装置、设备及存储介质 | |
| WO2023061195A1 (zh) | 图像获取模型的训练方法、图像检测方法、装置及设备 | |
| CN116229130A (zh) | 模糊图像的类型识别方法、装置、计算机设备和存储介质 | |
| CN111539420B (zh) | 基于注意力感知特征的全景图像显著性预测方法及系统 | |
| CN115393868A (zh) | 文本检测方法、装置、电子设备和存储介质 | |
| CN113706636A (zh) | 一种用于篡改图像识别的方法与装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200114 |