CN112528913A - 一种基于图像的砂石颗粒物粒径检测分析系统 - Google Patents

一种基于图像的砂石颗粒物粒径检测分析系统 Download PDF

Info

Publication number
CN112528913A
CN112528913A CN202011509797.XA CN202011509797A CN112528913A CN 112528913 A CN112528913 A CN 112528913A CN 202011509797 A CN202011509797 A CN 202011509797A CN 112528913 A CN112528913 A CN 112528913A
Authority
CN
China
Prior art keywords
image
detection
branch
particle size
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011509797.XA
Other languages
English (en)
Inventor
王雷冲
刘欣宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Aishang Zhitong Information Technology Co ltd
Original Assignee
Zhongshan Aishang Zhitong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Aishang Zhitong Information Technology Co ltd filed Critical Zhongshan Aishang Zhitong Information Technology Co ltd
Priority to CN202011509797.XA priority Critical patent/CN112528913A/zh
Publication of CN112528913A publication Critical patent/CN112528913A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于图像的砂石颗粒物粒径检测分析系统，包括机架、下料设备、图像采集设备、补光设备、图像处理设备、显示器、滑块、回收箱，图像处理设备对砂石图像进行分割处理的步骤包括：首先采用基于特征金字塔网络(FPN)的ResNet作为特征提取网络，其次提出一种自适应ROIAlign模块，将RPN输出的每个建议框都映射到FPN的全部特征层级上，并采用多尺度特征通过一层参数层取最大值进行融合的方式，最后增加IoU预测分支以改善网络的定位性能，实现更精确的分割，并提出基于定位置信度的NMS算法优先保留具有较高定位精度的检测框提供给目标检测分支和掩码分支，进一步提高分割精度。本发明能够应用于工厂对于砂石粒径的实时在线分析。

Description

一种基于图像的砂石颗粒物粒径检测分析系统
[技术领域]
本发明涉及一种基于图像的砂石颗粒物粒径检测分析系统。
[背景技术]
混凝土的粗骨料级配配比对混凝土拌合物的工作性能和硬化后混凝土的强度、硬度收缩能力等性能尤其重要，混凝土骨料的粒径分布检测是交通行业和建筑行业中不可或缺的环节，必须在确保混凝土的粒径分布达标以后，才能将骨料用于生产实践。然而，传统的机械筛分法通过机械抖动，使混凝土骨料通过不同孔径的筛孔，这种方法噪声大、成本高、检测速度慢，且难以达到较高的精度。
本发明就是基于以上问题产生的。
[发明内容]
本发明的目的是针对现有技术的不足，提出一种基于图像的砂石颗粒物粒径检测分析系统，本发明从机器视觉的角度出发，通过拍摄砂石图像来对砂石目标进行分割，实时分析砂石粒径的分布情况，基于改进的Mask R-CNN深度学习算法，根据RPN输出建议框的尺寸大小，将其映射到FPN的某一特征层级，然后通过ROIAlign在该层级上提取建议框的池化特征，采用自适应ROIAlign模块和特征融合，增加了IoU预测分支，通过预测检测框与真实框之间的IoU，为网络引入定位置信度，并使用改进的非极大值抑制算法进行后处理，从而提升网络在砂石图像数据集上的分割精度。
为解决上述技术问题，本发明所采用的技术方案是：
一种基于图像的砂石颗粒物粒径检测分析系统，包括有机架，所述机架上设有：
下料设备，位于传送带下方并使砂石集料呈平面下落姿态；
图像采集设备，位于下料设备的出口下方并用于拍摄下落砂石的图像；
补光设备，位于下料设备的出口下方并与图像采集设备相对，以对下落砂石进行补光；
图像处理设备，用于接收图像采集设备传来的砂石图像并实时处理分析砂石颗粒物的粒径；
显示器，用于实时显示砂石图像的采集与处理结果；
滑块，用于调节图像采集设备的位置；
以及回收箱，位于下料设备的出口下方并用于回收下落的砂石集料；
图像处理设备对砂石图像进行分割处理以备后续对砂石颗粒物的粒径进行测量，砂石图像的分割处理包括有以下步骤：
步骤S1，使用基于FPN的ResNet网络对输入的图像进行多尺度特征提取；
步骤S2，生成RPN建议框及其锚点；
步骤S3，自适应改进ROIAlign模块；
步骤S4，进行实例分割。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，所述步骤S1进一步的实现步骤如下：
步骤S1-1，ResNet网络：引入残差结构，残差结构使用ReLU激活函数，从输入图像开始，通过多次卷积和下采样逐级减小特征图分辨率；
步骤S1-2，融合FPN网络：FPN网络主要由自下而上、自上而下和横向连接三部分构成，ResNet网络作为自下而上部分把原始图片进行缩小，自上而下部分把最小分辨率特征图进行放大，然后使用横向连接部分将相同分辨率的特征图进行融合。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，所述步骤S2进一步的实现步骤如下：
步骤S2-1，生成锚点：对于经FPN网络生成的不同分辨率的特征图，在其每一点上设置若干种不同宽高比的锚点；
步骤S2-2，初步分类与回归：首先区分锚点属于目标还是背景，根据RPN回归分支的输出，得到所有锚点回归后的位置；将回归后的锚点裁剪至图像边界，并删除面积小于设定阈值的锚点；对剩下的锚点按置信度得分从高到低进行排序，并取前K个锚点；对这K个锚点进行非极大值抑制，并将抑制后的结果重新按置信度得分从高到低进行排序；最后取排序后的前n个框作为候选检测框；
步骤S2-3，输出建议框：在网络测试阶段，取n个候选检测框即为RPN的输出；在训练阶段，以正负样本1:X的比例从中随机选取Y个候选检测框，用来训练目标检测分支和掩码分支，RPN输出的检测框称为建议框。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，在步骤S2-1中，在特征图的每一点上设置3种不同宽高比的锚点，所述宽高比为{1/2，1，2}。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，在步骤S2-3中，取n为1000、X为3、Y为512。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，所述步骤S3进一步的实现步骤如下：
步骤S3-1，建议框映射到FPN网络的所有层级：将RPN输出的每个建议框都映射到FPN的全部4个特征层级上；
步骤S3-2，利用ROIAlign模块调整建议框的特征维度，使所有建议框的维度都等于全连接层的输入维度：首先将建议框等分为2×2的单元格，再将每个单元格均分成四个小单元格；将每个小单元格的中心点视为采样点，对采样点进行双线性插值，得到其像素值；最后对每个单元格内的4个采样点进行最大池化，即得到ROIAlign的结果；
步骤S3-3，特征融合：特征金字塔所有层级的通道数均为256，每个建议框在经过多尺度ROIAlign后，都可得到4个维度为m×m×256的特征，对于Mask R-CNN的目标检测分支和掩码分支，m分别取7和14，使特征融合的位置位于第一层参数层之后，且融合方式为逐元素取最大值。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，所述步骤S4进一步的实现步骤如下：
步骤S4-1，增加IoU预测分支：该分支由3个全连接层组成，分别为fc1、fc2和fc，其维度分别为1024、1024、1，对于RPN输出的建议框，先经过自适应ROIAlign模块，然后将融合后的特征先后通过fc2和fc，最终输出的标量即为网络预测的IoU值；
步骤S4-2，采用基于定位置信度的NMS算法：首先根据目标检测分支选取类别为前景的检测框记为集合B，再根据IoU分支的输出得到B中所有检测框与对应真实框的交并比，选出交并比最大的检测框，设定NMS的阈值，计算最大检测框与B中检测框的交并比，若大于设定的NMS阈值则删除此检测框；
步骤S4-3，目标检测、掩码生成：首先Mask R-CNN的目标检测分支增加3个维度为1024的全连接层，使所得模型的参数量与添加IoU预测分支后的模型相当，将基于定位置信度的NMS算法优先保留具有较高定位精度的检测框提供给目标检测分支和掩码分支，目标检测分支通过fc层进行类别预测和边框回归，掩码分支通过FCN网络、上采样预测一个二进制掩码，作为实例分割的结果；
步骤S4-4，计算改进Mask R-CNN网络的损失函数：损失函数包括有RPN分类损失、RPN回归损失、最终分类损失、最终回归损失和掩码损失。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，在步骤S4-2中，设定NMS阈值为0.5。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，所述图像采集设备包括有相机和镜头，所述相机的分别率不低于300万像素、最小曝光时间不高于
Figure BDA0002846054200000051
其中V为砂石下落的速度、P为测量精度，镜头焦距不大于靶面成像宽度的1.5倍。
如上所述的一种基于图像的砂石颗粒物粒径检测分析系统，所述下料设备包括有呈倒置四棱台形状的漏斗。
与现有技术相比，本发明的有益效果是：
1、本发明结构简单，可用于工业流水线场景上的砂石颗粒物粒径检测系统，并采用计算机视觉技术进行实时颗粒物粒径分布检测，以较好地满足工业需求。
2、依照Mask R-CNN算法使用FPN处理多尺度目标获得不同分辨率的特征图，使用RPN对锚点进行分类和回归，生成候选检测框即建议框，达到对目标与背景的初步分割，不需要人工绘制候选框，使图像得以在施工现场可以做快速有效的预处理。
3、对Mask R-CNN算法中的ROIAlign模块自适应改进，自适应ROIAlign模块尽可能避免了信息丢失，其中多尺度上进行ROIAlign操作使小目标可以获取高层语义特征，大目标也可以获取低层的位置细节特征，有利于对砂石的掩码进行精确分割，特征融合策略有利于提升目标检测与实例分割的精度。
4、在Mask R-CNN算法中目标检测分支和掩码分支网络的基础上增加IoU预测分支网络，并使用基于定位置信度的非极大值抑制策略保留高定位精度的检测框，使目标检测分支可以获得定位更准确的检测框，进而提高了掩码分支的分割精度。
[附图说明]
图1是本发明的图像分割流程图；
图2是改进Mask R-CNN网络整体结构图；
图3是FPN网络结构图；
图4是自适应ROIAlign模块示意图；
图5是ROIAlign实现图；
图6是特征融合方案图；
图7是本发明的系统结构示意图。
[具体实施方式]
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图7所示，一种基于图像的砂石颗粒物粒径检测分析系统，包括有机架6，机架6上设有：
下料设备1，位于传送带下方并使砂石集料呈平面下落姿态；
图像采集设备3，位于下料设备1的出口下方并用于拍摄下落砂石的图像；
补光设备2，位于下料设备1的出口下方并与图像采集设备3相对，以对下落砂石进行补光；
图像处理设备4，用于接收图像采集设备3传来的砂石图像并实时处理分析砂石颗粒物的粒径；
显示器5，用于实时显示砂石图像的采集与处理结果；
滑块7，用于调节图像采集设备3的位置；
以及回收箱8，位于下料设备1的出口下方并用于回收下落的砂石集料。
图像采集设备3包括有相机和镜头，所述相机的分别率不低于300万像素、最小曝光时间不高于
Figure BDA0002846054200000081
其中V为砂石下落的速度、P为测量精度，镜头焦距不大于靶面成像宽度的1.5倍。
下料设备1包括有呈倒置四棱台形状的漏斗，该漏斗能够使下落的砂石呈平面状从漏斗下方的出口落下，以供图像采集设备3采集砂石图像。
在使用时，砂石从下料设备1的入口进入下料设备1并从其出口下落，补光设备2接通电源对下落的砂石进行补光，图像采集设备3以较短的曝光时间对下落的砂石进行图像采集，且图像采集设备3可通过其下方的滑块7调节其与砂石之间的距离，从而适应不同焦距的图像采集设备3对距离的要求，采集后的图像经过USB数据线传送至图像处理设备4进行砂石图像的预处理、粒径分析等操作，采集到的图像以及处理结果通过HDMI线传输至显示器5并显示，下落的砂石经过机架6上的下落口落到下方的回收箱8中，回收箱8底部的海绵对下落的砂石起到缓冲的作用。
图像处理设备4对砂石图像进行分割处理以备后续对砂石颗粒物的粒径进行测量，首先，用基于FPN的ResNet架构对获取的图像进行特征提取；其次，在每个特征图上设置锚点，并用RPN对其进行分类，输出建议框；然后，将输出的建议框映射到FPN的全部特征层级上，在各层级分别进行ROIAlign操作，将获得的多尺度特征进行融合；最后，在Mask R-CNN采用目标检测分支和掩码分支串行的策略中加入基于定位置信度的IoU预测策略，并引入基于定位置信度的非极大值抑制策略，优先保留具有较高定位精度的检测框，提升模型的分割精度。如图1至图6所示，本发明对砂石图像的分割处理包括有以下步骤：
步骤S1，基于FPN的ResNet多尺度特征提取
由工业控制机控制工业相机拍摄得到即时图像，砂石颗粒物粒径检测系统通过传送带将砂石送至目标拍摄区域。为了使每个尺度的特征图都具有很强的特征表达能力，采用基于FPN的ResNet作为特征提取网络，一方面，FPN的低层特征提供了丰富的位置信息，有助于分割小目标；另一方面，FPN的高层特征又提供了丰富的语义信息，有助于分割大目标，这样允许每一级的特征都可以和高级、低级特征互相结合。如图3所示，FPN主要由自下而上(bottom-up)、自上而下(top-down)和横向连接三部分构成。自下而上(bottom-up)部分把原始图片进行适当地缩小，自上而下(top-down)部分把最小分辨率特征图进行适当地放大，然后使用横向连接部分将相同分辨率的特征图进行融合。具体的实施可以分为以下几个步骤：
步骤S1-1，ResNet网络：ResNet通过引入残差结构，很好的抑制了网络梯度消失或者爆炸现象，残差结构使用了ReLU激活函数，使得特征学习更加容易。从输入图像开始，通过多次卷积和下采样逐级减小特征图分辨率。
步骤S1-2，融合FPN网络：FPN主要由自下而上(bottom-up)、自上而下(top-down)和横向连接三部分构成。ResNet网络作为自下而上(bottom-up)部分把原始图片进行适当地缩小，自上而下(top-down)部分把最小分辨率特征图进行适当地放大，然后使用横向连接部分将相同分辨率的特征图进行融合。用1*1的卷积核将自下而上(bottom-up)部分的各层特征降至256维，然后将降维后的各特征图与自上而下(top-down)部分中相同分辨率的特征图进行融合，融合采用逐元素相加的方式。最后，采用3*3的卷积进一步消除融合后的混叠效应。
步骤S2，RPN建议框及其锚点生成
步骤S2-1，锚点(anchor)的生成
对于经FPN多尺度特征提取，生成了5个不同分辨率的特征图，此处记为Pi，i＝2,3,4,5,6，对于每个特征图，在其每一点上设置3种不同宽高比的锚点(anchor)，具体宽高比为{1/2，1，2}。对于大小为H×W的特征图，就一共可以生成H×W×3个锚点(anchor)。
步骤S2-2，初步分类与回归
首先区分锚点(anchor)属于目标还是背景，根据RPN回归分支的输出，得到所有锚点(anchor)回归后的位置；将回归后的锚点(anchor)裁剪至图像边界，并删除面积小于设定阈值的锚点(anchor)；对于剩下的锚点(anchor)，按置信度得分从高到低进行排序，并取前K个；对这K个锚点(anchor)进行非极大值抑制，并将抑制后的结果重新按置信度得分从高到低进行排序。最后取排序后的前n个框作为候选检测框。
步骤S2-3，输出建议框
在网络测试阶段，取n＝1000，这1000个候选检测框即为RPN的输出；在训练阶段，以正负样本1:3的比例从中随机选取512个候选检测框，用来训练目标检测分支和掩码分支，RPN输出的检测框称为建议框(proposal)。
步骤S3，自适应ROIAlign模块
步骤S3-1，建议框映射到FPN所有层级：首先将RPN输出的每个建议框都映射到FPN的全部4个特征层级上，即P2-P5。假设某个大小为h×w的建议框被映射到了第k个层级，那么k、h和w之间应满足：
Figure BDA0002846054200000111
其中，k代表可映射的层级，k＝2,3,4,5(不映射到P6)，k0取4。
步骤S3-2，ROIAlign操作
由于经过映射的建议框具有不同维度的特征，而目标检测分支中的全连接层只接受固定维度的输入。利用ROIAlign模块调整建议框的特征维度，使所有建议框的维度都等于全连接层的输入维度。其操作如图5所示，首先将建议框等分为2×2的单元格，再将每个单元格均分成四个小单元格；将每个小单元格的中心点视为采样点，对采样点进行双线性插值，得到其像素值；最后对每个单元格内的4个采样点进行最大池化，即得到ROIAlign的结果。
步骤S3-3，特征融合
特征金字塔所有层级的通道数均为256，每个建议框在经过多尺度ROIAlign后，都可得到4个维度为m×m×256的特征，对于Mask R-CNN的目标检测分支和掩码分支，m分别取7和14。如图6所示，以目标检测分支为例，将多尺度ROIAlign输出的4个特征在全连接层fc1或fc2之后融合，融合的方式选取逐元素取最大值(element-wise max)形式。
步骤S4，实例分割
步骤S4-1，增加IoU预测分支
IoU预测分支负责预测检测框与真实框之间的IoU，该分支由3个全连接层fc1(自适应ROIAlign模块包含fc1)、fc2和fc组成，其维度分别为1024、1024、1。对于RPN输出的建议框，先经过自适应ROIAlign模块，然后将融合后的特征先后通过fc2与fc，最终输出的标量即为网络预测的IoU值能够直接反映检测框相对于真实框的位置偏移，因此IoU预测分支的输出可视为定位置信度。
在网络训练阶段，目标检测分支和掩码分支沿用Mask R-CNN的训练策略。对于IoU预测分支，本文将RPN输出的正样本建议框与其对应的真实框之间的交并比作为训练目标(target)，其值在区间[0,1]内。为加快收敛，将IoU预测分支的输出也通过sigmoid函数归一化到[0,1]，通过计算预测值与训练目标的Smooth L1损失，反向传播优化网络权重。因为IoU预测分支的训练目标由前向传播过程动态计算得到，所以无需任何额外标注，即可实现端到端的训练。
步骤S4-2，采用基于定位置信度的NMS算法
首先根据目标检测分支选取类别为前景的检测框，集合记为B＝{b1,b2,…,bn}；再根据IoU分支的输出得到B中所有检测框与对应真实框的交并比{I1,I2,…,In}，并按交并比进行降序排列；从B中取出当前交并比最大的检测框bm，将其分类得分记为sm；遍历集合B中的检测框bi，计算bm与bi的交并比，如果大于设定的NMS阈值，则删除bi，并取sm＝max(sm,si)，其中si为bi的分类得分，NMS阈值设置为0.5；重复步骤，直到集合B为空集。
步骤S4-3，目标检测、掩码生成
首先Mask R-CNN的目标检测分支增加3个维度为1024的全连接层，使所得模型的参数量与添加IoU预测分支后的模型相当，将基于定位置信度的NMS算法优先保留具有较高定位精度的检测框提供给目标检测分支和掩码分支，目标检测分支通过fc层进行类别预测和边框回归，掩码分支通过FCN网络进行上采样预测一个二进制掩码，作为实例分割的结果。掩码分支用FCN来为每个RoI预测一个m×m的掩码，这允许掩码分支中的每个层显式的保持m×m的对象空间布局，而不会将其缩成缺少空间维度的向量表示。
步骤S4-4，计算改进Mask R-CNN网络的损失函数
Mask R-CNN的损失函数包括5个部分，即RPN分类损失、RPN回归损失、最终分类损失、最终回归损失和掩码损失。前两者涉及RPN模块的损失，其定义为
Figure BDA0002846054200000131
其中，i代表anchor的索引，pi为anchor i属于目标的概率。pi *为anchor i的标签，如果根据匹配规则得出anchor i为正样本，则pi *为1，否则pi *为0。ti为RPN模块预测建议框的位置及其宽高，ti *为目标的真实位置及其宽高。Ncls和Nreg分别为RPN分类损失和回归损失的正则项，λ为平衡两类损失的权重。对于anchor i，RPN分类损失采用softmax交叉熵损失：
Lcls(pi,pi *)＝-[pi *logpi+(1-pi *)log(1-pi)] (3)
RPN回归损失为预测建议框和真实框的Smooth L1损失：
Figure BDA0002846054200000141
由式(2)可知，分类损失在所有样本上进行计算，而只有正样本才参与计算回归损失。
最终分类损失Lc和最终回归损失Lloc在形式上与上述RPN的分类和回归损失完全相同，即分别采用softmax交叉熵损失和Smooth L1损失进行计算，如式(3)和式(4)所示。对于掩码损失Lmask，Mask R-CNN采用sigmoid平均二值交叉熵损失(BCE loss)代替FCN中的softmax交叉熵损失。由于sigmoid运算仅在每个通道内进行，没有引入其他通道的信息，因此可以有效避免类间竞争。假设掩码分支的输出维度为K×m×m，k为类别总数(不包括背景类)，那么对于第k类目标，Mask R-CNN仅计算第k个通道与真实掩码的BCE损失，从而实现了检测与分割任务的解耦。综上所述，Mask R-CNN的损失函数Ltotal可表示为
Ltotal＝LRPN+Lc+Lloc+Lmask (5)
MR代表改进前的Mask R-CNN网络，SARM(Self-Adaption ROIAlign Module)代表自适应ROIAlign模块，IoU_Pre代表IoU预测分支，FC_Det代表向目标检测分支增加3个维度为1024的全连接层，IoU_NMS代表基于定位置信度的非极大值抑制算法。经在砂石数据集上测试，Mask R-CNN网络和改进后的Mask R-CNN网络精度和实时性结果如表1所示：
表1改进策略有效性验证消融实验
Figure BDA0002846054200000151
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种基于图像的砂石颗粒物粒径检测分析系统，包括有机架(6)，所述机架(6)上设有：
下料设备(1)，位于传送带下方并使砂石集料呈平面下落姿态；
图像采集设备(3)，位于下料设备(1)的出口下方并用于拍摄下落砂石的图像；
补光设备(2)，位于下料设备(1)的出口下方并与图像采集设备(3)相对，以对下落砂石进行补光；
图像处理设备(4)，用于接收图像采集设备(3)传来的砂石图像并实时处理分析砂石颗粒物的粒径；
显示器(5)，用于实时显示砂石图像的采集与处理结果；
滑块(7)，用于调节图像采集设备(3)的位置；
以及回收箱(8)，位于下料设备(1)的出口下方并用于回收下落的砂石集料；
其特征在于，图像处理设备(4)对砂石图像进行分割处理以备后续对砂石颗粒物的粒径进行测量，砂石图像的分割处理包括有以下步骤：
步骤S1，使用基于FPN的ResNet网络对砂石图像进行多尺度特征提取；
步骤S2，生成RPN建议框及其锚点；
步骤S3，自适应改进ROIAlign模块；
步骤S4，进行实例分割。
2.根据权利要求1所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，所述步骤S1进一步的实现步骤如下：
步骤S1-1，ResNet网络：引入残差结构，残差结构使用ReLU激活函数，从输入图像开始，通过多次卷积和下采样逐级减小特征图分辨率；
步骤S1-2，融合FPN网络：FPN网络主要由自下而上、自上而下和横向连接三部分构成，ResNet网络作为自下而上部分把原始图片进行缩小，自上而下部分把最小分辨率特征图进行放大，然后使用横向连接部分将相同分辨率的特征图进行融合。
3.根据权利要求1所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，所述步骤S2进一步的实现步骤如下：
步骤S2-1，生成锚点：对于经FPN网络生成的不同分辨率的特征图，在其每一点上设置若干种不同宽高比的锚点；
步骤S2-2，初步分类与回归：首先区分锚点属于目标还是背景，根据RPN回归分支的输出，得到所有锚点回归后的位置；将回归后的锚点裁剪至图像边界，并删除面积小于设定阈值的锚点；对剩下的锚点按置信度得分从高到低进行排序，并取前K个锚点；对这K个锚点进行非极大值抑制，并将抑制后的结果重新按置信度得分从高到低进行排序；最后取排序后的前n个框作为候选检测框；
步骤S2-3，输出建议框：在网络测试阶段，取n个候选检测框即为RPN的输出；在训练阶段，以正负样本1:X的比例从中随机选取Y个候选检测框，用来训练目标检测分支和掩码分支，RPN输出的检测框称为建议框。
4.根据权利要求3所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，在步骤S2-1中，在特征图的每一点上设置3种不同宽高比的锚点，所述宽高比为{1/2，1，2}。
5.根据权利要求3所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，在步骤S2-3中，取n为1000、X为3、Y为512。
6.根据权利要求1所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，所述步骤S3进一步的实现步骤如下：
步骤S3-1，建议框映射到FPN网络的所有层级：将RPN输出的每个建议框都映射到FPN的全部4个特征层级上；
步骤S3-2，ROIAlign操作：利用ROIAlign模块调整建议框的特征维度，使所有建议框的维度都等于全连接层的输入维度：首先将建议框等分为2×2的单元格，再将每个单元格均分成四个小单元格；将每个小单元格的中心点视为采样点，对采样点进行双线性插值，得到其像素值；最后对每个单元格内的4个采样点进行最大池化，即得到ROIAlign的结果；
步骤S3-3，特征融合：特征金字塔所有层级的通道数均为256，每个建议框在经过多尺度ROIAlign后，都可得到4个维度为m×m×256的特征，对于Mask R-CNN的目标检测分支和掩码分支，m分别取7和14，使特征融合的位置位于第一层参数层之后，且融合方式为逐元素取最大值。
7.根据权利要求1所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，所述步骤S4进一步的实现步骤如下：
步骤S4-1，增加IoU预测分支：该分支由3个全连接层组成，分别为fc1、fc2和fc，其维度分别为1024、1024、1，对于RPN输出的建议框，先经过自适应ROIAlign模块，然后将融合后的特征先后通过fc2和fc，最终输出的标量即为网络预测的IoU值；
步骤S4-2，采用基于定位置信度的NMS算法：首先根据目标检测分支选取类别为前景的检测框记为集合B，再根据IoU分支的输出得到B中所有检测框与对应真实框的交并比，选出交并比最大的检测框，设定NMS的阈值，计算最大检测框与B中检测框的交并比，若大于设定的NMS阈值则删除此检测框；
步骤S4-3，目标检测、掩码生成：首先Mask R-CNN的目标检测分支增加3个维度为1024的全连接层，使所得模型的参数量与添加IoU预测分支后的模型相当，将基于定位置信度的NMS算法优先保留具有较高定位精度的检测框提供给目标检测分支和掩码分支，目标检测分支通过fc层进行类别预测和边框回归，掩码分支通过FCN网络、上采样预测一个二进制掩码，作为实例分割的结果；
步骤S4-4，计算改进Mask R-CNN网络的损失函数：损失函数包括有RPN分类损失、RPN回归损失、最终分类损失、最终回归损失和掩码损失。
8.根据权利要求7所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，在步骤S4-2中，设定NMS阈值为0.5。
9.根据权利要求1所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，所述图像采集设备(3)包括有相机和镜头，所述相机的分别率不低于300万像素、最小曝光时间不高于
Figure FDA0002846054190000051
其中V为砂石下落的速度、P为测量精度，镜头焦距不大于靶面成像宽度的1.5倍。
10.根据权利要求1所述的一种基于图像的砂石颗粒物粒径检测分析系统，其特征在于，所述下料设备(1)包括有呈倒置四棱台形状的漏斗。
CN202011509797.XA 2020-12-18 2020-12-18 一种基于图像的砂石颗粒物粒径检测分析系统 Pending CN112528913A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011509797.XA CN112528913A (zh) 2020-12-18 2020-12-18 一种基于图像的砂石颗粒物粒径检测分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011509797.XA CN112528913A (zh) 2020-12-18 2020-12-18 一种基于图像的砂石颗粒物粒径检测分析系统

Publications (1)

Publication Number Publication Date
CN112528913A true CN112528913A (zh) 2021-03-19

Family

ID=75001563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011509797.XA Pending CN112528913A (zh) 2020-12-18 2020-12-18 一种基于图像的砂石颗粒物粒径检测分析系统

Country Status (1)

Country Link
CN (1) CN112528913A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408478A (zh) * 2021-07-07 2021-09-17 深圳市宏申工业智能有限公司 基于Mask RCNN的图像分割模型训练方法及粒径检测方法
CN113658212A (zh) * 2021-08-13 2021-11-16 青岛科技大学 图像预测的方法
CN113740216A (zh) * 2021-09-09 2021-12-03 北京师范大学 一种宽级配混合骨料空地一体检测方法
CN114723939A (zh) * 2022-04-12 2022-07-08 国网四川省电力公司营销服务中心 基于注意力机制的非极大值抑制方法、系统、设备和介质
CN114800873A (zh) * 2022-04-28 2022-07-29 郑州三和水工机械有限公司 一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统
CN115239790A (zh) * 2022-07-27 2022-10-25 广东中鉴检测技术有限公司 一种基于图像识别的砂石成分筛选分析系统
CN116912884A (zh) * 2023-07-21 2023-10-20 北京优创新港科技股份有限公司 一种人体关键点检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104458542A (zh) * 2014-12-18 2015-03-25 中电科信息产业有限公司 非接触式砂石骨料粒度粒形检测仪及检测方法
US20190057507A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN111079773A (zh) * 2019-12-27 2020-04-28 中国地质调查局成都地质调查中心 一种基于Mask R-CNN网络的砾石参数获取方法、装置、设备及存储介质
CN111178197A (zh) * 2019-12-19 2020-05-19 华南农业大学 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN112001878A (zh) * 2020-05-21 2020-11-27 合肥合工安驰智能科技有限公司 基于二值化神经网络的深度学习矿石尺度测量方法及应用系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104458542A (zh) * 2014-12-18 2015-03-25 中电科信息产业有限公司 非接触式砂石骨料粒度粒形检测仪及检测方法
US20190057507A1 (en) * 2017-08-18 2019-02-21 Samsung Electronics Co., Ltd. System and method for semantic segmentation of images
CN111178197A (zh) * 2019-12-19 2020-05-19 华南农业大学 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN111079773A (zh) * 2019-12-27 2020-04-28 中国地质调查局成都地质调查中心 一种基于Mask R-CNN网络的砾石参数获取方法、装置、设备及存储介质
CN112001878A (zh) * 2020-05-21 2020-11-27 合肥合工安驰智能科技有限公司 基于二值化神经网络的深度学习矿石尺度测量方法及应用系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
KAIMING ET AL: "Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks", 《ARXIV:1506.01497V3》, pages 1 - 14 *
KAIMING HE ET AL: "Mask R-CNN", 《ARXIV:1703.06870V3》 *
KAIMING HE ET AL: "Mask R-CNN", 《ARXIV:1703.06870V3》, 24 January 2018 (2018-01-24), pages 1 - 12 *
TSUNG-YI LIN ET AL: "Feature Pyramid Networks for Object Detection", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
TSUNG-YI LIN ET AL: "Feature Pyramid Networks for Object Detection", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 9 November 2017 (2017-11-09), pages 936 - 944 *
高敏等: "基于Mask R-CNN改进算法的砂石分割算法研究", 《武汉理工大学学报》 *
高敏等: "基于Mask R-CNN改进算法的砂石分割算法研究", 《武汉理工大学学报》, vol. 42, no. 11, 30 November 2020 (2020-11-30), pages 56 - 63 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408478A (zh) * 2021-07-07 2021-09-17 深圳市宏申工业智能有限公司 基于Mask RCNN的图像分割模型训练方法及粒径检测方法
CN113658212A (zh) * 2021-08-13 2021-11-16 青岛科技大学 图像预测的方法
CN113740216A (zh) * 2021-09-09 2021-12-03 北京师范大学 一种宽级配混合骨料空地一体检测方法
CN113740216B (zh) * 2021-09-09 2022-05-24 北京师范大学 一种宽级配混合骨料空地一体检测方法
CN114723939A (zh) * 2022-04-12 2022-07-08 国网四川省电力公司营销服务中心 基于注意力机制的非极大值抑制方法、系统、设备和介质
CN114723939B (zh) * 2022-04-12 2023-10-31 国网四川省电力公司营销服务中心 基于注意力机制的非极大值抑制方法、系统、设备和介质
CN114800873A (zh) * 2022-04-28 2022-07-29 郑州三和水工机械有限公司 一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统
CN114800873B (zh) * 2022-04-28 2024-04-12 郑州三和水工机械有限公司 一种基于5g数据传输的混凝土搅拌站砂石料位ai智能检测方法及系统
CN115239790A (zh) * 2022-07-27 2022-10-25 广东中鉴检测技术有限公司 一种基于图像识别的砂石成分筛选分析系统
CN115239790B (zh) * 2022-07-27 2023-06-13 广东中鉴检测技术有限公司 一种基于图像识别的砂石成分筛选分析系统
CN116912884A (zh) * 2023-07-21 2023-10-20 北京优创新港科技股份有限公司 一种人体关键点检测方法及系统
CN116912884B (zh) * 2023-07-21 2024-03-19 北京优创新港科技股份有限公司 一种人体关键点检测方法及系统

Similar Documents

Publication Publication Date Title
CN112528913A (zh) 一种基于图像的砂石颗粒物粒径检测分析系统
CN111126472B (zh) 一种基于ssd改进的目标检测方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN110378222B (zh) 一种输电线路防震锤目标检测与缺陷识别方法及装置
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN111461083A (zh) 基于深度学习的快速车辆检测方法
CN107844785B (zh) 一种基于尺度估计的人脸检测方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN111598030A (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN108256426A (zh) 一种基于卷积神经网络的人脸表情识别方法
CN113392960B (zh) 一种基于混合空洞卷积金字塔的目标检测网络及方法
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN109492596B (zh) 一种基于K-means聚类和区域推荐网络的行人检测方法及系统
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
CN112528904A (zh) 一种用于砂石颗粒物粒径检测系统的图像分割方法
CN113052834B (zh) 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
WO2022148109A1 (zh) 产品缺陷检测方法、装置、设备及计算机可读存储介质
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN113111727A (zh) 一种基于特征对齐的遥感场景下旋转目标检测方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
CN109670555A (zh) 基于深度学习的实例级行人检测和行人重识别系统
CN113205502A (zh) 一种基于深度学习的绝缘子缺陷检测方法及其系统
CN110188682B (zh) 基于几何结构双路卷积网络的光学遥感图像目标检测方法
Aldabbagh et al. Classification of chili plant growth using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210319

RJ01 Rejection of invention patent application after publication