CN114332144A - 样本粒度检测方法、系统、电子设备及存储介质 - Google Patents
样本粒度检测方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114332144A CN114332144A CN202111624206.8A CN202111624206A CN114332144A CN 114332144 A CN114332144 A CN 114332144A CN 202111624206 A CN202111624206 A CN 202111624206A CN 114332144 A CN114332144 A CN 114332144A
- Authority
- CN
- China
- Prior art keywords
- image
- labels
- data set
- training
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 95
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 40
- 238000003709 image segmentation Methods 0.000 claims abstract description 18
- 238000012958 reprocessing Methods 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 230000000877 morphologic effect Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 8
- 239000004575 stone Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000002050 diffraction method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供一种样本粒度检测方法、系统、电子设备及计算机可读存储介质，所述方法包括：获取包含多幅样本图像的数据集；采用基于距离变换的分水岭分割算法对处理后的数据集做图像分割，得到效果图；对数据集中预先标注标签的效果图进行预训练并迁移到无标注标签效果图中提取特征以标注标签；对标签做数字形态学处理，划定正负实例，完成标签重处理，得到训练集；采用预设的网络模型对训练集训练，模型收敛时获得检测模型；通过检测模型估算待检测样本的粒度。本公开技术方案能解决粒度检测过程中图像分割精度不高，标注困难、误差大的问题；可适应复杂环境的粒度检测，鲁棒性强、准确率高。
Description
技术领域
本公开涉及计算机视觉技术领域，具体涉及一种样本粒度检测方法，一种样本粒度检测系统，一种电子设备以及一种计算机可读存储介质。
背景技术
矿石粒度检测是当今矿山企业整个开采操作中的重要一环，而在整个检测过程中，对于矿石图像的准确分割又是最重要的环节。精确的图像分割有利于后续检测系统进一步分析矿石轮廓、外接矩形等几何参数，便于后续环节进行粒度统计处理，从而最大化提高矿石粉碎机的生产力，提高矿山企业的经济效益。
传统矿石粒度的主要检测方法包括筛分法、沉降法、超声波法和衍射法等，这类检测方法一方面耗时较长，不能及时对结果进行反馈；另一方面检测结果受人为主观判断影响，整体鲁棒性难以得到保证。而目前国内外对于矿石图像的分割研究多是基于传统图像处理方法，如基于阈值的分割算法、基于边缘检测的分割算法、基于聚类的分割算法、基于图论的分割算法，准确性和鲁棒性较低，尤其对于中等尺寸石块的分割精确率不高，且无法有效解决矿石图像粘连下对于矿石的有效分割。应用最广泛的基于分水岭的分割算法容易造成过分割或欠分割问题，尤其对于粘连石块的粒度计算误差较大。基于深度学习的分割算法在不同现场环境下需要大量数据集，标注难度较大，整体算法训练时间较长。以上粒度检测方法并不能满足矿山企业的工业生产需求，因此需要设计一种可适应复杂生产环境的、鲁棒性强、准确率高的检测矿石粒度的方法。
发明内容
为了至少解决现有技术中粒度检测图像分割精度不高，数据集标注难度较大，整体算法训练时间较长，粒度计算误差较大的技术问题，本公开提供一种样本粒度检测方法、样本粒度检测系统、电子设备及计算机可读存储介质，可适应复杂生产环境的粒度检测，并且鲁棒性强、准确率高。
第一方面，本公开提供一种样本粒度检测方法，所述方法包括：
获取包含多幅样本图像的数据集；
采用基于距离变换的分水岭分割算法寻找种子点对数据集中的样本图像做图像分割，得到数据集的效果图，所述效果图包括预先标注标签的效果图和无标注标签的效果图；
对数据集中预先标注标签的效果图进行预训练，并将预训练结果迁移到无标注标签的效果图中提取特征以为无标注标签的效果图标注标签；
对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，得到训练集；
采用预设的网络模型对所述训练集进行训练，并在网络模型收敛时获得检测模型；
通过所述检测模型估算待检测样本的粒度。
进一步的，所述获取包含多幅样本图像的数据集包括：
采集各种预设情形下的原始样本图像；
对采集到的原始样本图像进行灰度化降维和去噪预处理，得到数据集。
进一步的，所述对采集到的原始样本图像进行灰度化降维和去噪预处理包括：
采用加权平均法设置权值对原始样本图像进行灰度化降维；以及，
采用直方图均衡化增强灰度化降维后的整体样本图像的对比度，再通过双边滤波算法对增强对比度后的样本图像去噪。
进一步的，在对采集到的原始样本图像进行灰度化降维和去噪预处理之后，还包括：
采用Hough变换检测直线的方法排除数据集中在设备空载运行状态下采集到的样本图像；以及，
采用帧间差分法排除数据集中在设备静止状态下采集到的样本图像。
进一步的，在得到数据集的效果图之后，所述方法还包括：
对所述数据集的效果图进行图像增强处理，并将图像增强后的效果图补入所述数据集中；
其中所述图像增强处理采用的方式包括：图像缩放、图像旋转、图像镜像、图像亮度调整和图像对比度调整中的任意一种或多种。
进一步的，所述对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，包括：
对无标注标签的效果图标注标签后生成的掩模图像，采用膨胀算法按照多次计算的结果选择向外扩充预设数量的像素点进行膨胀操作，生成新的掩模图像；
对所述新的掩模图像，设置其中白色待检测物体边缘部分为正例、膨胀操作后外扩的预设数量像素点边界黑色边框及待检测物体本身为负例，最外层灰色背景区域不涉及计算，至此完成标签重处理的操作。
进一步的，所述预设的网络模型通过将原始U-Net网络模型的通道数按预设比例进行削减，并引入残差网络后得到；对数据集中预先标注标签的效果图进行预训练采用的算法为半监督学习方法。
进一步的，所述方法还包括：
在采用预设的网络模型对所述训练集进行训练时，采用交叉熵损失函数和L2正则化构建目标函数为性能评价指标，并采用Adam法优化算法来最小化该目标函数。
第二方面，本公开提供一种样本粒度检测系统，所述系统包括：
获取模块，其设置为获取包含多幅样本图像的数据集；
图像分割模块，其设置为采用基于距离变换的分水岭分割算法寻找种子点对数据集中的样本图像做图像分割，得到数据集的效果图，所述效果图包括预先标注标签的效果图和无标注标签的效果图；
迁移模块，其设置为对数据集中预先标注标签的效果图进行预训练，并将预训练结果迁移到无标注标签的效果图中提取特征以为无标注标签的效果图标注标签；
标签处理模块，其设置为对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，得到训练集；
训练模块，其设置为采用预设的网络模型对所述训练集进行训练，并在网络模型收敛时获得检测模型；
检测模块，其设置为通过所述检测模型估算待检测样本的粒度。
第三方面，本公开提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行如第一方面中任一所述的样本粒度检测方法。
第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的样本粒度检测方法。
有益效果：
本公开提供的样本粒度检测方法、样本粒度检测系统、电子设备及计算机可读存储介质，通过获取包含多幅样本图像的数据集；采用基于距离变换的分水岭分割算法寻找种子点对数据集中的样本图像做图像分割，得到数据集的效果图，所述效果图包括预先标注标签的效果图和无标注标签的效果图；对数据集中预先标注标签的效果图进行预训练，并将预训练结果迁移到无标注标签的效果图中提取特征以为无标注标签的效果图标注标签；对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，得到训练集；采用预设的网络模型对所述训练集进行训练，并在网络模型收敛时获得检测模型；通过所述检测模型估算待检测样本的粒度。本公开技术方案能够解决现有技术中粒度检测图像分割精度不高，数据集标注难度较大，整体算法训练时间较长，粒度计算误差较大的问题，可适应复杂生产环境的粒度检测，鲁棒性强、准确率高。
附图说明
图1为本公开实施例一提供的一种样本粒度检测方法的流程示意图；
图2为本公开实施例一提供的一种对现有标注的图像进行预训练的示意图；
图3为本公开实施例一提供的一种对标签做数字形态学处理的效果示意图；
图4为本公开实施例一提供的一种采用Hough变换检测直线的方法排除数据集中设备空载运行状态下采集的图像的示意图；
图5为本公开实施例二提供的一种样本粒度检测方法的流程示意图；
图6为本公开实施例二提供的在不同环境下的矿石粒度检测训练后的结果对比图；
图7为本公开实施例三提供的一种样本粒度检测系统的架构图；
图8为本公开实施例四提供的一种电子设备的架构图。
具体实施方式
为使本领域技术人员更好地理解本公开的技术方案，下面结合附图和实施例对本公开作进一步详细描述。应当理解的是，此处描述的具体实施例和附图仅仅用于解释本发明，而非对本发明的限定。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序；并且，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互任意组合。
其中，在本公开实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本公开的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
下面以具体地实施例对本公开的技术方案以及本公开的技术方案如何解决现有技术中粒度检测图像分割精度不高，数据集标注难度较大，整体算法训练时间较长，粒度计算误差较大的问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本公开实施例一提供的一种样本粒度检测方法的流程示意图，如图1所示，所述方法包括：
步骤S101：获取包含多幅样本图像的数据集；
步骤S102：采用基于距离变换的分水岭分割算法寻找种子点对数据集中的样本图像做图像分割，得到数据集的效果图，所述效果图包括预先标注标签的效果图和无标注标签的效果图；
步骤S103：对数据集中预先标注标签的效果图进行预训练，并将预训练结果迁移到无标注标签的效果图中提取特征以为无标注标签的效果图标注标签；
步骤S104：对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，得到训练集；
步骤S105：采用预设的网络模型对所述训练集进行训练，并在网络模型收敛时获得检测模型；
步骤S106：通过所述检测模型估算待检测样本的粒度。
本公开实施例在采集的原始图像样本时通过摄像头获取视频流解码采取原始矿石图像，依照图像采集原则，选择不同时间点不同工况的样本作为数据集。采集的样本图像包含石块大小不一、矿石之间粘连严重，边界不易区分，受环境影响严重等特点。对此，需要对采集的图像进行预处理进行降维和去噪预处理。对样本的数据集进行预处理后，需要对图像进行分割，传统的分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是将图像看作是测地学上的拓扑地貌，图像中每一像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆地，而集水盆地的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸人水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。但对于矿石采集的样本图像，在传统分水岭分割算法中，山谷间的像素值与分水岭间的像素值数值接近，种子点难以选择局部最小值点，容易造成过分割或欠分割问题，尤其对于粘连石块的粒度计算误差较大；因此，本公开实施例采用基于距离变换的分水岭分割算法寻找种子点，采用距离变换的方法，划分实例为前景图像，其余为背景图像，通过距离值替代像素值，会使实例像素点越亮，越容易寻找待分割中心。通过对像素归一化，寻找种子点做矿石分割，实现在图像质量较高的测试集中较好的分割效果，得到效果图。
针对现有数据集粘连严重、标准难界定等问题，通过对当前数据集中的部分图像做好标注后，采用现有标签做预训练，迁移到无标注标签提取特征，采用半监督学习策略并划定一种损失函数计算范围的方法，加速深度网络收敛。在预训练过程对于损失函数的计算中，只对二次标签处理后的图像范围进行计算；预训练过程只对部分区域内的图像做训练，如图2中所示，图2(a)中将部分石块已标注标签，在现有的标注区域内进行训练及更新损失函数，即如图2(b)中所示，只对图中非黑色区域(对于标注出的标签)做模型训练；充分利用现有标签数据提取边缘特征，削减了计算范围，加速网络收敛速度。在将标签迁移到无标注标签的效果图中后，需对现有标签再进行二次处理，通过对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，得到训练集，数字形态学处理意义在于采用膨胀算法将标注图像的边缘区域扩张，尽可能的减小训练范围；如图3所示，图3中左图(图a)是标注后的原掩膜图像，右图(图b)是数字形态学处理后的图像，突出了边界区域。然后通过预设的网络模型进行训练，将训练集投入训练，网络收敛时获得相应检测模型，在检测模型中输入测试集获得测试集的最终分割效果，并估算矿石粒度。
本公开实施例通过采用基于距离变换的分水岭分割算法寻找种子点实现较好的分割效果；基于半监督的学习策略，改变整体图像训练区域，解决数据集标注难度较大问题，并通过形态学处理突出边界区域，大大提升了训练效率，可使用较低资源在短时间内完成模型训练，以实现在工业场景中对矿石粒度的精确分割。
进一步的，所述获取包含多幅样本图像的数据集包括：
采集各种预设情形下的原始样本图像；
对采集到的原始样本图像进行灰度化降维和去噪预处理，得到数据集。
在矿山现场根据需求选择特定角度进行放置摄像头，采集视频流获取各种情形下的原始样本图像，原始样本图像包括多种天气和光照条件下的图像。对采集的图像通过采用加权平均法设置权值将数据集灰度化降维，之后采用直方图均衡化增强整体图像对比图，突出实例边缘，后续采用双边滤波算法实现去噪效果。得的预处理后的数据集。
进一步的，所述对采集到的原始样本图像进行灰度化降维和去噪预处理包括：
采用加权平均法设置权值对原始样本图像进行灰度化降维；以及，
采用直方图均衡化增强灰度化降维后的整体样本图像的对比度，再通过双边滤波算法对增强对比度后的样本图像去噪。
采用加权平均法将原始彩色图像的RGB三维度按经验值设定符合实际需要的权值，在保留原始图像关键信息的同时降低了语义分割网络训练的计算量，提升了整个图像分割处理及整个应用系统的处理速度。针对现场工况中光影、粉尘对采集图像的质量影响，采用直方图均衡化的方式提升整体图像的对比度，突出石块边缘范围，消除部分前景和背景的难区分性。对于采集图像的图像噪声，及矿石自身表面纹理特征的杂乱性，采用双边滤波算法，考虑像素点灰度相似度与空间邻近度，在保留矿石边缘的同时达到消噪去噪效果。
进一步的，在对采集到的原始样本图像进行灰度化降维和去噪预处理之后，还包括：
采用Hough变换检测直线的方法排除数据集中在设备空载运行状态下采集到的样本图像；以及，
采用帧间差分法排除数据集中在设备静止状态下采集到的样本图像。
矿石粒度检测系统在空载时会统计出大量矿石粒度为0的统计结果，对后续整体矿石粒度计算造成严重的误差。为消除这一特殊工况影响，采用边缘检测算法Canny算法检测图像边缘，最后使用Hough检测直线并输出。对检测的直线的交点设置一个阈值。如图4所示，空载的传送带相比于非空载的传送带，可检测出更多的水平直线(不相交)，交点少于阈值说明可以清晰检测皮带轮廓，说明处于空载状态。交点大于阈值并且数量很多，则说明传送带上有各自形状物体，说明其为非空载。
传送带发生卡带或整体出现施工故障时，传送带静止状态会使摄像头持续采集冗余图像，持续重复计数会对矿石粒度统计结果造成较大的误差，针对该问题，对贴近时间段的不同时刻矿石图像采用帧间差分法对传送带状况进行判断和反馈，排除特殊工况。
进一步的，在得到数据集的效果图之后，所述方法还包括：
对所述数据集的效果图进行图像增强处理，并将图像增强后的效果图补入所述数据集中；
其中所述图像增强处理采用的方式包括：图像缩放、图像旋转、图像镜像、图像亮度调整和图像对比度调整中的任意一种或多种。
针对数据量不足可能导致的网络过拟合，以及训练模型缺失泛化能力的问题，采用数据增强的方法对现有数据集进行扩充。采用线上增强的方式，利用GPU进行前一批次模型训练，对于数据增强的前置处理通过CPU完成，改善模型的收敛效率。再对数据集做图像缩放、图像旋转、图像镜像等变换。其中旋转角度包括90°、180°、270°及其他角度，镜像变换包括上、下、左、右、反转等变换方式，图像缩放便于整体网络具备多尺度学习能力。另外，采用包括改变图像亮度值和对比度操作使网络更加适应不同光照环境下的图像。多种方式可以单独进行，也可以进行组合处理。
进一步的，所述对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，包括：
对无标注标签的效果图标注标签后生成的掩模图像，采用膨胀算法按照多次计算的结果选择向外扩充预设数量的像素点进行膨胀操作，生成新的掩模图像；
对所述新的掩模图像，设置其中白色待检测物体边缘部分为正例、膨胀操作后外扩的预设数量像素点边界黑色边框及待检测物体本身为负例，最外层灰色背景区域不涉及计算，至此完成标签重处理的操作。
做数字形态学处理如图3所示，是采用膨胀算法将标注图像的边缘区域扩张，尽可能的减小训练范围，通过采用膨胀算法，按照多次计算的结果选择向外扩充预设数量的像素点，所述预设数量可以为5个，8个或其他数量，生成新的掩模图像，一方面达到全覆盖现有标注实例，另一方面减小训练范围。并设置白色矿石边缘部分为正例、膨胀操作后外扩的预设数量的像素范围黑色边框及矿石个体本身为负例，而最外层灰色背景区域不涉及计算，达到标签重处理的目的，符合半监督学习策略。
进一步的，所述预设的网络模型通过将原始U-Net网络模型的通道数按预设比例进行削减，并引入残差网络后得到；对数据集中预先标注标签的效果图进行预训练采用的算法为半监督学习方法。
针对现有数据集投入深度网络可能产生的网络退化现象，可以对模型进行改进，如对于语义分割网络U-Net网络结构，针对现有U-Net结构易产生过拟合等问题，将原始网络通道数进行比例削减，降低复杂程度，节约显存使用量及避免服务器过载。并引入残差网络(Res Net)消除网络结构中非线性激活函数引起的网络输出跳出最优解导致的网络退化问题。
进一步的，所述方法还包括：
在采用预设的网络模型对所述训练集进行训练时，采用交叉熵损失函数和L2正则化构建目标函数为性能评价指标，并采用Adam法优化算法来最小化该目标函数。
通过加入L2正则化构建目标函数，可以在拟合过程中让权值尽可能小，构造一个所有参数都比较小的模型，使模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象；交叉熵损失函数和Adam法优化算法在计算机视觉和自然语言处理中广泛应用于深度学习应用，目标函数可采用如下方式表示，前半部分为交叉熵，后半部分为L2正则化项：
其中，yk表示指示变量，如果该类别和样本的类别相同就是1，否则就是0，表示像素x属于类别k的概率，λ是L2正则化项系数，
是L2正则化项。通过改进U-Net网络结构，并对交叉熵损失函数做重定义，设计性能评价指标，进行模型训练，采用简易的深度网络U-Net，网络结构更简便，模型复杂度低，在改进后训练精度及速度都更快。
本公开实施例的基于半监督学习的粒度检测方法可适应各类复杂生产环境的粒度检测，鲁棒性强、准确率高。采用基于距离值的分水岭分割算法，更有效地寻找到种子点进行图像分割，实现了较好的分割效果；通过图像增强，对数据集进行扩充，使网络更加适应不同光照环境下的图像；基于半监督的学习策略，改变整体图像训练区域，并通过形态学处理突出边界区域，在扩充训练集的同时大大提升了训练效率，可使用较低资源在短时间内完成模型训练，以实现在工业场景中对矿石粒度的精确分割。
为了更清楚的描述本公开的技术方案，如图5所示，本公开实施例二提供一种样本粒度检测方法，包括：
步骤S1：在矿山现场根据需求选择特定角度进行放置摄像头，采集视频流走现场工业总线接入视频监控室；操作人员接到视频流后，首先对视频流做解码处理，依据采集不相关、不重叠、连续的截图言责，选择特定帧率采集原始矿石图像；采集的矿石图像包含石块大小不一、矿石之前粘连严重，边界不易区分，受环境影响严重等特点；
步骤S2：对矿石图像进行预处理，包括：
S2a：采用加权平均法将原始彩色图像的RGB三维度按经验值设定符合实际需要的权值，在保留原始图像关键信息的同时降低语义分割网络训练的计算量，提升整个图像分割处理及整个应用系统的处理速度；
S2b：针对现场工况中光影、粉尘对采集图像的质量影响，采用直方图均衡化的方式提升整体图像的对比度，突出石块边缘范围，消除部分前景和背景的难区分性；
S2c：对于采集图像的图像噪声及矿石自身表面纹理特征的杂乱性，采用双边滤波算法，考虑像素点灰度相似度与空间邻近度，在保留矿石边缘的同时达到消噪去噪效果；
步骤S3：对特殊工况进行排查，包括空载排查和静止状态排查；矿石粒度检测系统在空载时会统计出大量矿石粒度为0的统计结果，对后续整体矿石粒度计算造成严重的误差；为消除这一特殊工况影响，应该是采用边缘检测算法Canny算法检测图像边缘，最后使用Hough检测直线并输出；设置检测的直线之间交点的阈值，交点少说明可以清晰检测皮带轮廓，交点少于阈值说明处于空载状态；传送带发生卡带或整体出现施工故障时，传送带静止状态会使摄像头持续采集冗余图像，持续重复计数会对矿石粒度统计结果造成较大的误差，针对该问题，采用帧间差分法对贴近时间段的不同时刻矿石图像采用帧间差分法对传送带状况进行判断和反馈，排除特殊工况；
步骤S3：基于距离分割的分水岭分割算法分割图像；传统分水岭分割算法中，山谷间的像素值与分水岭间的像素值数值接近，种子点难以选择局部最小值点；采用距离变换的方法，划分实例为前景图像，其余为背景图像，采用距离值替代像素值，会使实例像素点越亮，越容易寻找待分割中心，通过对像素归一化，寻找种子点做矿石分割，得到效果图；
步骤S5：针对数据量不足可能导致的网络过拟合，导致训练模型缺失泛化能力的问题，采用数据增强的方法对现有数据集进行扩充；采用线上增强的方式，利用GPU进行前一批次模型训练，对于数据增强的前置处理通过CPU完成，改善模型的收敛效率；再对数据集做图像缩放、图像旋转、图像镜像变换；其中旋转角度包括90°、180°、270°及其他角度，镜像变换包括上、下、左、右、反转等变换方式，图像缩放便于整体网络具备多尺度学习能力；另外，采用包括改变图像亮度值和对比度操作使网络更加适应不同光照环境下的图像；
步骤S6：基于半监督学习的网络训练，矿石图像数据集的图像分割存在以下难点：第一，各个矿石之间粘连严重，以标注者的视角难以准确的区分矿石实例边缘；第二，全天候采取的不同环境的矿石图像阴影覆盖严重；第三，标注者难以界定石块的大小关系，标注较为困难；针对以上问题，通过提取现有标注的石块进行预训练，迁移到无标注石块中提取特征，在训练过程对于损失函数的计算中，只对二次标签处理后的图像范围进行计算，在现有的标注区域内进行训练及更新损失函数，一方面可以充分利用现有标签数据提取边缘特征，另一方面削减了计算范围，加速网络收敛速度；基于此策略，需对现有标签再进行二次处理，对生成的掩模图像，采用膨胀算法，按照多次计算的结果选择向外扩充5个像素点，生成新的掩模图像，一方面达到全覆盖现有标注实例，另一方面减小训练范围；并设置白色矿石边缘部分为正例、膨胀操作后外扩的5像素范围黑色边框及矿石个体本身为负例，而最外层灰色背景区域不涉及计算，达到标签重处理的目的，符合半监督学习策略；
步骤S7：针对现有语义分割网络U-Net结构易产生过拟合等问题，将原始网络通道数进行比例削减，降低复杂程度，节约显存使用量及避免服务器过载，并引入残差网络(ResNet)消除网络结构中非线性激活函数引起的网络输出跳出最优解导致的网络退化问题；
步骤S8：通过交叉熵损失函数和L2正则化构建目标函数为性能评价指标，将训练集投入训练，网络收敛时获得相应模型，输入测试集获得最终分割效果，并估算矿石粒度。
本公开实施例在不同环境下的矿石粒度检测对比如图6所示，其中，图6a为不同情形下的原图，图6b为对应的标签标注图，图6c为原始策略下图像处理后的对应的侧视图；图6b为采用本实施例中训练策略下图像处理后的对应的侧视图。可以看出，通过本实施例训练策略可以可适应复杂生产环境，检测结果鲁棒性强、准确率高。
图7为本公开实施例三提供的样本粒度检测系统的架构图，如图7所示，所述系统包括：
第二方面，本公开提供一种样本粒度检测系统，所述系统包括：
获取模块11，其设置为获取包含多幅样本图像的数据集；
图像分割模块12，其设置为采用基于距离变换的分水岭分割算法寻找种子点对数据集中的样本图像做图像分割，得到数据集的效果图，所述效果图包括预先标注标签的效果图和无标注标签的效果图；
迁移模块13，其设置为对数据集中预先标注标签的效果图进行预训练，并将预训练结果迁移到无标注标签的效果图中提取特征以为无标注标签的效果图标注标签；
标签处理模块14，其设置为对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，得到训练集；
训练模块15，其设置为采用预设的网络模型对所述训练集进行训练，并在网络模型收敛时获得检测模型；
检测模块16，其设置为通过所述检测模型估算待检测样本的粒度。
进一步的，所述获取模块11包括：
采集单元，其设置为采集各种预设情形下的原始样本图像；
预处理单元，其设置为对采集到的原始样本图像进行灰度化降维和去噪预处理，得到数据集。
进一步的，所述预处理单元具体设置为：
采用加权平均法设置权值对原始样本图像进行灰度化降维；以及，
采用直方图均衡化增强灰度化降维后的整体样本图像的对比度，再通过双边滤波算法对增强对比度后的样本图像去噪。
进一步的，所述系统还包括排查模块17；
所述排查模块17设置为采用Hough变换检测直线的方法排除数据集中在设备空载运行状态下采集到的样本图像；以及，
采用帧间差分法排除数据集中在设备静止状态下采集到的样本图像。
进一步的，所述系统还包括图像增强模块18；
所述图像增强模块18设置为对所述数据集的效果图进行图像增强处理，并将图像增强后的效果图补入所述数据集中；
其中所述图像增强处理采用的方式包括：图像缩放、图像旋转、图像镜像、图像亮度调整和图像对比度调整中的任意一种或多种。
进一步的，所述标签处理模块14具体设置为：
对无标注标签的效果图标注标签后生成的掩模图像，采用膨胀算法按照多次计算的结果选择向外扩充预设数量的像素点进行膨胀操作，生成新的掩模图像；以及，
对所述新的掩模图像，设置其中白色待检测物体边缘部分为正例、膨胀操作后外扩的预设数量像素点边界黑色边框及待检测物体本身为负例，最外层灰色背景区域不涉及计算，至此完成标签重处理的操作。
进一步的，所述预设的网络模型通过将原始U-Net网络模型的通道数按预设比例进行削减，并引入残差网络后得到；对数据集中预先标注标签的效果图进行预训练采用的算法为半监督学习方法。
进一步的，所述训练模块15具体设置为：
在采用预设的网络模型对所述训练集进行训练时，采用交叉熵损失函数和L2正则化构建目标函数为性能评价指标，并采用Adam法优化算法来最小化该目标函数。
本公开实施例的样本粒度检测系统用于实施方法实施例一和实施例二中的样本粒度检测方法，所以描述的较为简单，具体可以参见前面方法实施例一和实施例二中的相关描述，此处不再赘述。
此外，如图8所示，本公开实施例四还提供一种电子设备，包括存储器10和处理器20，所述存储器10中存储有计算机程序，当所述处理器20运行所述存储器10存储的计算机程序时，所述处理器20执行上述各种可能的方法。
其中，存储器10与处理器20连接，存储器10可采用闪存或只读存储器或其他存储器，处理器20可采用中央处理器或单片机。
此外，本公开实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行上述各种可能的方法。
该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器)，ROM(Read-Only Memory，只读存储器)，EEPROM(Electrically ErasableProgrammable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。
Claims (11)
1.一种样本粒度检测方法，其特征在于，所述方法包括：
获取包含多幅样本图像的数据集；
采用基于距离变换的分水岭分割算法寻找种子点对数据集中的样本图像做图像分割，得到数据集的效果图，所述效果图包括预先标注标签的效果图和无标注标签的效果图；
对数据集中预先标注标签的效果图进行预训练，并将预训练结果迁移到无标注标签的效果图中提取特征以为无标注标签的效果图标注标签；
对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，得到训练集；
采用预设的网络模型对所述训练集进行训练，并在网络模型收敛时获得检测模型；
通过所述检测模型估算待检测样本的粒度。
2.根据权利要求1所述的方法，其特征在于，所述获取包含多幅样本图像的数据集包括：
采集各种预设情形下的原始样本图像；
对采集到的原始样本图像进行灰度化降维和去噪预处理，得到数据集。
3.根据权利要求2所述的方法，其特征在于，所述对采集到的原始样本图像进行灰度化降维和去噪预处理包括：
采用加权平均法设置权值对原始样本图像进行灰度化降维；以及，
采用直方图均衡化增强灰度化降维后的整体样本图像的对比度，再通过双边滤波算法对增强对比度后的样本图像去噪。
4.根据权利要求2或3所述的方法，其特征在于，在对采集到的原始样本图像进行灰度化降维和去噪预处理之后，还包括：
采用Hough变换检测直线的方法排除数据集中在设备空载运行状态下采集到的样本图像；以及，
采用帧间差分法排除数据集中在设备静止状态下采集到的样本图像。
5.根据权利要求1所述的方法，其特征在于，在得到数据集的效果图之后，所述方法还包括：
对所述数据集的效果图进行图像增强处理，并将图像增强后的效果图补入所述数据集中；
其中所述图像增强处理采用的方式包括：图像缩放、图像旋转、图像镜像、图像亮度调整和图像对比度调整中的任意一种或多种。
6.根据权利要求5所述的方法，其特征在于，所述对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，包括：
对无标注标签的效果图标注标签后生成的掩模图像，采用膨胀算法按照多次计算的结果选择向外扩充预设数量的像素点进行膨胀操作，生成新的掩模图像；
对所述新的掩模图像，设置其中白色待检测物体边缘部分为正例、膨胀操作后外扩的预设数量像素点边界黑色边框及待检测物体本身为负例，最外层灰色背景区域不涉及计算，至此完成标签重处理的操作。
7.根据权利要求1所述的方法，其特征在于，所述预设的网络模型通过将原始U-Net网络模型的通道数按预设比例进行削减，并引入残差网络后得到；对数据集中预先标注标签的效果图进行预训练采用的算法为半监督学习方法。
8.根据权利要求1或7所述的方法，其特征在于，所述方法还包括：
在采用预设的网络模型对所述训练集进行训练时，采用交叉熵损失函数和L2正则化构建目标函数为性能评价指标，并采用Adam法优化算法来最小化该目标函数。
9.一种样本粒度检测系统，其特征在于，所述系统包括：
获取模块，其设置为获取包含多幅样本图像的数据集；
图像分割模块，其设置为采用基于距离变换的分水岭分割算法寻找种子点对数据集中的样本图像做图像分割，得到数据集的效果图，所述效果图包括预先标注标签的效果图和无标注标签的效果图；
迁移模块，其设置为对数据集中预先标注标签的效果图进行预训练，并将预训练结果迁移到无标注标签的效果图中提取特征以为无标注标签的效果图标注标签；
标签处理模块，其设置为对所有效果图的标签做数字形态学处理，并划定正负实例，完成标签重处理操作，得到训练集；
训练模块，其设置为采用预设的网络模型对所述训练集进行训练，并在网络模型收敛时获得检测模型；
检测模块，其设置为通过所述检测模型估算待检测样本的粒度。
10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行如权利要求1-8中任一项所述的样本粒度检测方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的样本粒度检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111624206.8A CN114332144A (zh) | 2021-12-28 | 2021-12-28 | 样本粒度检测方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111624206.8A CN114332144A (zh) | 2021-12-28 | 2021-12-28 | 样本粒度检测方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332144A true CN114332144A (zh) | 2022-04-12 |
Family
ID=81015603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111624206.8A Pending CN114332144A (zh) | 2021-12-28 | 2021-12-28 | 样本粒度检测方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332144A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373695A (zh) * | 2023-10-12 | 2024-01-09 | 北京透彻未来科技有限公司 | 基于极深卷积神经网络的泛癌病理诊断系统 |
-
2021
- 2021-12-28 CN CN202111624206.8A patent/CN114332144A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117373695A (zh) * | 2023-10-12 | 2024-01-09 | 北京透彻未来科技有限公司 | 基于极深卷积神经网络的泛癌病理诊断系统 |
| CN117373695B (zh) * | 2023-10-12 | 2024-05-17 | 北京透彻未来科技有限公司 | 基于极深卷积神经网络的泛癌病理诊断系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jahedsaravani et al. | An image segmentation algorithm for measurement of flotation froth bubble size distributions | |
| WO2018107939A1 (zh) | 一种基于边缘完备度的图像分割最优识别方法 | |
| Li et al. | Multiscale features supported DeepLabV3+ optimization scheme for accurate water semantic segmentation | |
| Li et al. | Automatic pavement crack recognition based on BP neural network | |
| Du et al. | Amnet: Deep atrous multiscale stereo disparity estimation networks | |
| CN103049763B (zh) | 一种基于上下文约束的目标识别方法 | |
| CN108564588B (zh) | 一种基于深度特征和图割法的建成区自动提取方法 | |
| CN110992381A (zh) | 一种基于改进Vibe+算法的运动目标背景分割方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| Marques et al. | Automatic road pavement crack detection using SVM | |
| JP2008217706A (ja) | ラベリング装置、ラベリング方法及びプログラム | |
| Wang et al. | A hybrid method for the segmentation of a ferrograph image using marker-controlled watershed and grey clustering | |
| CN109766823A (zh) | 一种基于深层卷积神经网络的高分辨率遥感船舶检测方法 | |
| CN103198479A (zh) | 基于语义信息分类的sar图像分割方法 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| Daniel et al. | Automatic road distress detection and analysis | |
| Chen et al. | Automated cement fragment image segmentation and distribution estimation via a holistically-nested convolutional network and morphological analysis | |
| Mubashshira et al. | An unsupervised approach for road surface crack detection | |
| CN115147401A (zh) | 一种基于数字图像处理的土石坝坝料合格性智能检测方法 | |
| Zhang et al. | Investigation of pavement crack detection based on deep learning method using weakly supervised instance segmentation framework | |
| Guo et al. | A novel transformer-based network with attention mechanism for automatic pavement crack detection | |
| Cheng et al. | Embankment crack detection in UAV images based on efficient channel attention U2Net | |
| CN114332144A (zh) | 样本粒度检测方法、系统、电子设备及存储介质 | |
| Deepa et al. | Improved watershed segmentation for apple fruit grading |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |