CN111797826B - 大骨料集中区域检测方法和装置及其网络模型训练方法 - Google Patents

大骨料集中区域检测方法和装置及其网络模型训练方法 Download PDF

Info

Publication number
CN111797826B
CN111797826B CN202010408722.6A CN202010408722A CN111797826B CN 111797826 B CN111797826 B CN 111797826B CN 202010408722 A CN202010408722 A CN 202010408722A CN 111797826 B CN111797826 B CN 111797826B
Authority
CN
China
Prior art keywords
module
layer
convolution
image
large aggregate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010408722.6A
Other languages
English (en)
Other versions
CN111797826A (zh
Inventor
杨宗立
牟荣峰
杨宁
乔雨
蒋龙
刘迎雨
晁燕安
傅慧源
马华东
陈世明
吴福胜
张五平
李怡超
周大建
吴卫
郭佳伟
张新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZHEJIANG DAHUA SYSTEM ENGINEERING CO LTD
Beijing University of Posts and Telecommunications
China Three Gorges Projects Development Co Ltd CTG
Original Assignee
ZHEJIANG DAHUA SYSTEM ENGINEERING CO LTD
Beijing University of Posts and Telecommunications
China Three Gorges Projects Development Co Ltd CTG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZHEJIANG DAHUA SYSTEM ENGINEERING CO LTD, Beijing University of Posts and Telecommunications, China Three Gorges Projects Development Co Ltd CTG filed Critical ZHEJIANG DAHUA SYSTEM ENGINEERING CO LTD
Priority to CN202010408722.6A priority Critical patent/CN111797826B/zh
Publication of CN111797826A publication Critical patent/CN111797826A/zh
Application granted granted Critical
Publication of CN111797826B publication Critical patent/CN111797826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种大骨料集中区域检测方法和装置及其网络模型的训练方法和装置，以及电子设备和存储介质。大骨料集中区域检测方法包括：调用摄像装置，对包含大骨料集中区域的环境进行拍照，以获得包含大骨料集中区域的图像；将图像输入到深度学习神经网络模型中，来检测和确定图像中大骨料集中区域的位置信息；将结果发送至显示设备和警报设备；其中，深度学习神经网络模型是使用以下数据进行训练的：带有大骨料集中区域的图像数据集，且该图像已进行了大骨料集中区域的标注。根据本发明技术方案，解决了传统人工检测效率低下的问题，也能够提高大骨料集中区域检测的准确率，避免了误检与漏检。

Description

大骨料集中区域检测方法和装置及其网络模型训练方法
技术领域
本申请涉及图像自动化处理技术领域，尤其涉及一种大骨料集中区域检测方法和装置，大骨料集中区域检测用网络模型的训练方法和装置，以及一种电子设备和存储介质。
背景技术
在混凝土浇筑过程中，较大的骨料颗粒聚集在一起的情况，被称为大骨料集中。大骨料集中会影响混凝土的强度。
在传统施工场景中，主要通过人工的方式对大骨料区域进行检查，然而受限于距离与视野盲区等问题，人工检查方法的检测效率与准确率低下。
现在技术中，采用图像目标检测的方法对大骨料区域进行检测。然而大骨料集中与骨料的大小与密度相关，传统的目标检测方法无法针对骨料的大小与密度进行关联与区分，导致检测准确率较低，容易出现误检与漏检的情况。
发明内容
为克服传统人工检查方法与现有技术的不足，本发明提出一种基于图像注意力机制的大骨料集中区域检测方法和装置、深度学习神经网络训练方法和装置，以及电子设备和存储介质。
根据本发明一方面，提供一种大骨料集中区域检测方法，包括：调用摄像装置，对包含大骨料集中区域的环境进行拍照，以获得包含大骨料集中区域的图像；将所述图像输入到深度学习神经网络模型中，来检测和确定图像中大骨料集中区域的位置信息；在得到大骨料集中区域的位置信息之后，将结果发送至显示设备和警报设备；其中，所述深度学习神经网络模型包括：通过3*3卷积结构，建立的图像预处理模块；特征提取网络，基于密集-注意Dense-Attention模块构建，Dense-Attention模块包括密集连接模块DenseBlock与卷积注意模块CBAM；检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接；以及其中，所述深度学习神经网络模型是使用以下数据进行训练的：带有大骨料集中区域的图像数据集，且该图像已进行了大骨料集中区域的标注。
根据本发明另一方面，提供一种大骨料集中区域检测用网络模型训练方法，所述深度学习神经网络包括：通过3*3卷积结构，建立的图像预处理模块；特征提取网络，基于密集-注意Dense-Attention模块构建，Dense-Attention模块包括密集连接模块DenseBlock与卷积注意模块CBAM；检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接，所述训练方法包括：接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注；使用所述图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理；将预处理好的图像输入所述深度学习神经网络的特征提取网络和检测网络模型中，并将标注信息数据作为所述深度学习神经网络的输出的真值标签；计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对神经网络中的参数进行不断的优化；当损失函数值稳定时，将此时的网络参数集合作为所述深度学习神经网络的参数，即得到最终训练的深度学习神经网络。
根据本发明又一方面，提供一种大骨料集中区域检测装置，包括：调用单元，用于对包含大骨料集中区域的环境进行拍照，以获得包含大骨料集中区域的图像；传送单元，用于将所述图像输入到深度学习神经网络模型单元中；深度学习神经网络模型单元，用于检测和确定图像中大骨料集中区域的位置信息，包括：通过3*3卷积结构，建立的图像预处理模块；特征提取网络，基于密集-注意Dense-Attention模块构建，Dense-Attention模块包括密集连接模块DenseBlock与卷积注意模块CBAM；检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接；所述深度学习神经网络模型是使用以下数据进行训练的：带有大骨料集中区域的图像数据集，且该图像已进行了大骨料集中区域的标注；输出单元，用于将大骨料集中区域的位置信息传输至显示设备和警报设备。
根据本发明又一方面，提供一种大骨料集中区域检测用网络模型训练装置，其中深度学习神经网络包括：通过3*3卷积结构，建立的图像预处理模块；特征提取网络，基于密集-注意Dense-Attention模块构建，Dense-Attention模块包括密集连接模块DenseBlock与卷积注意模块CBAM；检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，检测网络模型与特征提取网络串联连接，训练装置包括：标注单元，用于接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注；预处理单元，使用图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理；输入单元，用于将预处理好的图像输入深度学习神经网络的特征提取网络和检测网络模型中，并将标注信息数据作为深度学习神经网络的输出的真值标签；优化单元，用于计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对深度学习神经网络中的参数进行不断的优化；模型获取单元，用于当损失函数值稳定时，将此时的网络参数集合作为深度学习神经网络的参数，即得到最终训练的深度学习神经网络。
根据本发明再一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上所述的方法。
根据本发明再一方面，提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行如上所述的方法。
根据本发明技术方案，能有效地检测出混凝土浇筑过程中大骨料集中的区域，解决了传统人工检测效率低下的问题，也能够提高大骨料集中区域检测的准确率，从而帮助施工单位进行大骨料集中区域检测工作。且通过密集连接机制实现特征复用，结合注意力机制获取关键特征信息，使得网络模型能针对骨料的大小与密度进行有效的关联与区分，避免了误检与漏检。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明实施方式的大骨料集中区域检测方法的示意性流程图；
图2示出了卷积预处理单元的示意性结构图；
图3示出了密集-注意(dense-attention)模块的示意性结构图；
图4示出了锚点优化(ARM)模块的示意性结构图；
图5示出了转换连接(TCB)模块的示意性结构图；
图6示出了根据本发明实施方式获得的深度学习神经网络的示意性结构图；
图7示出了训练深度学习神经网络的具体步骤；
图8示出了根据本发明实施方式的大骨料集中区域检测方法的示意性流程图；
图9示出了根据本发明另一实施方式的大骨料集中区域检测装置的示意性框图；
图10示出了大骨料集中区域检测用网络模型训练装置的示意性框图；
图11示出了本实施例所提供的电子设备的硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
根据本发明实施方式，提供了一种基于注意力机制的大骨料集中区域检测方法。图1示出了该方法的流程图。如图1所示，该方法包括如下步骤：
S110，调用摄像装置，对包含大骨料集中区域的环境进行拍照，以获得包含大骨料集中区域的图像。
S120，将图像输入到深度学习神经网络模型中，来检测和确定图像中大骨料集中区域的位置信息。
步骤S120中所述的深度学习神经网络包括：
通过3*3卷积结构，建立的图像预处理模块；
特征提取网络，基于密集-注意(Dense-Attention)模块构建，Dense-Attention模块包括密集连接模块(DenseBlock)与卷积注意模块(Convolutional Block AttentionModule，CBAM)；
检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接。
在上述建好的深度学习神经网络中，使用了Dense-Attention Block单元，从而通过密集连接机制实现特征复用，结合注意力机制获取关键特征信息，使得网络模型能针对骨料的大小与密度进行有效的关联与区分，避免了误检与漏检。在本发明实施方式中，以大骨料集中区域作为待识别对象的一个例子。然而，本领域技术人员应理解，本发明实施方式的技术方案还可用于识别其他对象，比如图片中的特定动物、特定的人脸等。本发明不应在此受到限制。
S130，在得到大骨料集中区域的位置信息之后，将结果发送至显示设备和警报设备。将结果发送至显示设备，以供相关人员查看；发送至警报设备，以引起相关人员注意，从而采取相关措施清除大骨料集中区域。
另外，图1的方法流程还可以包括：在得到大骨料集中区域的位置信息后，将位置信息发送给相关的操作部件，该操作部件可以采用机械手等进行大骨料集中区域的清除工作，如此通过本发明实施方式的方法，在无人工的情况下，完成识别、清除大骨料集中区域的一系列工作。
图1的方法流程还可以包括神经网络模型搭建步骤。应注意，该步骤不是必需的，神经网络可以是已经搭建好的，或从其他地方拷贝得到。神经网络搭建步骤如下：
通过数目比如是3个的3*3卷积结构，构建图像预处理模块；将密集连接模块(DenseBlock)与卷积注意模块(Convolutional Block Attention Module，CBAM)融合，构建密集-注意(Dense-Attention)模块，并基于此构建特征提取网络；构建锚点优化模块、转换连接模块和目标检测模块，并构成检测网络模型。
下面详细描述该深度学习神经网络的各组成单元。
图2示出了卷积预处理单元的示意性结构图。卷积结构的数目可以是3个，且使用3个3*3的卷积结构，可以减少网络参数量，引入更多的非线性变换，使网络具有更强的特征辨识能力。如图2所示，3*3卷积预处理单元包括依次连接的第一卷积层210、第二卷积层220、第三卷积层230和平均池化层240。其中，第一卷积层步长为2，大小为3*3；所述第二卷积层和第三卷积层步长均为1，大小为3*3；所述平均池化层的步长为2，大小为2*2。应理解，本发明在此处以及下文中所列的数字，均是为了便于本领域技术人员理解本发明，并不用于限制本发明。
图3示出了上述Dense-Attention模块的示意性结构图。如图3所示，Dense-Attention模块包括比如4个Dense Block 310和CBAM 320。所述4个Dense Block模块之间两两相连；所述Dense Block模块包括两个依次连接的BN-ReLU-Conv；所述BN-ReLU-Conv包括一次连接的BN层、ReLU层和卷积层，其中第一个卷积大小为1*1，第二个卷积大小为3*3。所述CBAM模块包括依次相连接的CAM结构和SAM结构；所述CAM结构包括两个支路，支路1包括全局最大池化层，支路2包括全局平均池化层，上述两支路通过多层感知机(MLP)进行加操作，再进行Sigmoid激活层；所述SAM结构包括依次连接的全局最大池化层、全局平均池化层、特征拼接层、卷积层和Sigmoid激活层。Dense Block模块310与CBMA模块320之间串联连接。
下面描述图3构成的特征提取网络的作用：其通过卷积运算，从输入的原始图像众多特征中求出那些对大骨料分类识别最有效的特征，从而实现特征空间维数的压缩，即获取一组“少而精”且分类错误概率小的分类待征(提升目标与背景的差异)。在特征提取网络中，Dense Block和CBMA这两个模块在一块的共同作用，是通过已有的方法实验得出的。DenseBlock模块决定特征提取网络的大小和特征提取能力，CBAM是进一步提升特征提取能力，这种机制类似于人的眼睛：当看到一幅画面时，人的注意力应该是注意到能表达画面信息的部分，忽略无关的背景信息。
该特征提取网络的输出被输入至随后的检测网络模型。检测网络模型针对上述提取的特征图中识别出大骨料集中区域，并准确地预测集中区域的位置。下面描述检测网络模型的组成结构。
图4示出了锚点优化模块(ARM)的示意性结构图。如图4所示，锚点优化模块包括依次连接的conv fc6，conv fc7，conv6_1和conv6_2。所述conv fc6包括一个空洞卷积层，卷积大小3*3，步长为3；所述conv fc7包括一个空洞卷积层，卷积大小1*1，步长为1；所述conv6_1包括一个空洞卷积层，卷积大小1*1，步长为1；所述conv6_2包括一个空洞卷积层，卷积大小3*3，步长为2。
图5示出了转换连接模块(TCB)的示意性结构图。如图5所示，转换连接模块包括两条支路，支路1包括依次连接的卷积层、ReLU激活层和卷积层，支路2包括一个反卷积层。上述两支路经过像素级特征相加(element wise sum，Eltw sum)融合，然后依次连接ReLU激活层、卷积层和ReLU激活层。所述卷积大小均为3*3，步长为1，反卷积大小为4*4，步长为2，卷积层和反卷积层每批处理样本数均为256。
进一步地，目标检测(ODM)模块由上述转换连接TCB模块输出构成，包括P3层、P4层、P5层、P6层。所述P6层由上述conv fc6经过上述TCB模块输出得到；所述P5层由上述convfc7经过上述TCB模块输出得到；所述P4层由上述conv6_1经过上述TCB模块输出得到；所述P5层由上述conv6_2经过上述TCB模块输出得到。
通过以上步骤获得的网络结构如图6所示。该网络结构包括依次连接的输入层、3*3卷积预处理单元(未示出)、依次串联的4组Dense-Attention Block单元、锚点优化ARM模块、特征转换连接TCB模块、目标检测ODM模块、输出层。所示锚点优化ARM模块中的每一层输出，通过特征转换连接TCB模块处理后，与目标检测ODM模块的每一层特征连接融合。
在图1所示流程中，在搭建好神经网络之后，还包括训练过程。图7示出了该过程的一个示例性的流程图。如图7所示，该过程包括：
S710，接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注。该标注可以通过专用的标注软件来完成。图像数据集可以是大坝混凝土浇筑图像集，且标注步骤是对图像集中的大骨料集中区域进行标注，如此训练网络模型能够识别大骨料集中区域。如果欲识别的是其他对象，比如图片中的特定动物、人脸等，在步骤S710可以输入带有其他待识别对象的图像集，以达到训练目的。
S720，使用图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理。标注信息包括：标签和坐标信息。关于如何标注和标注信息数据的具体内容，属于本领域技术人员已知内容，在此不予赘述。
S730，将预处理好的图像输入本发明使用的深度学习神经网络中，并将标注信息作为深度学习神经网络的输出的真值标签。
S740，计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对神经网络中的参数进行不断的优化。
神经网络的优化目标函数可以包括两个部分，一部分是ARM分支损失，另一部分是ODM检测分支损失。网络优化算法可以为动量随机梯度下降算法，优化的具体过程包括：将初始学习率设置为0.001，动量因子设置为0.9，通过对网络模型的不断训练，当损失值不再下降时，将此时的网络参数保存为最终的网络模型参数。如此通过数据集的迭代更新，提高了检测目标的泛化能力。
S750，当损失函数值稳定时，将此时的网络参数集合作为神经网络的参数，即得到最终训练的深度学习神经网络。稳定所需的数值或数值范围可以由本领域技术人员根据实际需要来决定。
在包含进建模、训练过程后，图1的流程图扩展为图8所示流程图。其包含步骤如下：
S810，构建图像预处理模块；S820，将DenseBlock与CBAM融合，构建Dense-Attention模块，并基于此构建特征提取网络；S830，构建锚点优化模块、转换连接模块和目标检测模块，并构成检测网络模型；S840，训练上述网络模型，以得到深度学习神经网络模型；S110，调用摄像装置，对包含大骨料集中区域的环境进行拍照，以获得包含大骨料集中区域的图像；S120，将所述图像输入到深度学习神经网络模型中，来检测和确定图像中大骨料集中区域的位置信息；S130，在得到大骨料集中区域的位置信息之后，将结果发送至显示设备和警报设备。
根据本发明另一实施方式，还提供了一种大骨料集中区域检测用网络模型的训练方法，该方法如上参考图7所述。根据本发明实施方式的训练方法，训练出的神经网络模型具备了大骨料集中区域检测能力，并在输入带有大骨料集中区域的图片时，能够以较高的效率、准确率识别出大骨料集中区域。
有益技术效果
申请人针对不同的特征提取骨干网络进行了对比实验，其中，训练超参数设置如表1所示，模型损失与准确率对比实验如表2所示。
表1-训练超参数设置
超参数 值
max_iter 60000
base_lr 0.0001
weight_decay 0.0005
gamma 0.1
momentum 0.9
lr_policy "multistep"
type "SGD"
表2-模型损失与准确率对比实验
Figure BDA0002492310740000091
Figure BDA0002492310740000101
实验采用三种不同的特征提取骨干网络，第一行为视觉几何组(VGG)骨干网络，第二行为密集网(DenseNet)骨干网络，第三行为本发明提出的基于注意力机制的Dense-Attention模块组成的骨干网络。针对ARM损失、ODM损失、整个模型损失、准确率(mAP)四个指标进行对比，实验结果如以上表2所示。可以看出四个指标中本发明提出的方法均为最优，从而验证了本发明提出的基于图像注意力机制的大骨料集中区域检测方法的有效性。
根据本发明另一实施方式，还提供一种大骨料集中区域检测装置。图9示出了该大骨料集中区域检测装置的示意性框图。如图9所示，该装置包括：调用单元910，用于对包含大骨料集中区域的环境进行拍照，以获得包含大骨料集中区域的图像；传送单元920，用于将所述图像输入到深度学习神经网络模型单元中；深度学习神经网络模型单元930，用于检测和确定图像中大骨料集中区域的位置信息，包括：通过3*3卷积结构，建立的图像预处理模块；特征提取网络，基于密集-注意(Dense-Attention)模块构建，密集-注意(Dense-Attention)模块包括密集连接模块(DenseBlock)与卷积注意模块(CBAM)；检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接；输出单元940，用于将大骨料集中区域的位置信息传输至显示设备和警报设备。
关于深度学习神经网络中各模块的具体结构，可以参考以上方法实施方式的描述。输出单元940可将识别结果输出至显示装置，从而向用户提供所识别对象的具体位置，也可以输出至警报装置，在识别到对象后即启动警报装置，发出声音信号或光信号等。
输出单元940还可以将位置信息发送给相关的操作部件，该操作部件可以包括在大骨料集中区域检测装置内，或在该检测装置以外且连接到该检测装置。操作部件可以采用机械手等进行大骨料集中区域的清除工作，如此通过本发明实施方式的方法，在无人工的情况下，完成识别、清除大骨料集中区域的一系列工作。
另外，图9所示的大骨料集中区域检测装置还可以包括建模单元，用于建立上述深度学习神经网络，具体为：通过3*3卷积结构，构建图像预处理模块；将DenseBlock与CBAM融合，构建Dense-Attention模块，并基于此构建特征提取网络；构建锚点优化模块、转换连接模块和目标检测模块，并构成检测网络模型。
图9所示的大骨料集中区域检测装置还可以包括训练单元，该训练单元用于对深度学习神经网络进行训练，其包括：
标注模块，用于接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注，应理解此处的标注动作也可以由装置外的软件来完成，从而该大骨料集中区域检测装置仅接收标注好的图像，本发明在此不受限制；预处理模块，用于使用所述图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理，经过预处理后，得到高层级的特征图；输入模块，用于将预处理好的图像输入深度学习神经网络的特征提取网络和检测网络模型中，并将标注信息数据作为深度学习神经网络的输出的真值标签；优化模块，用于计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对深度学习神经网络中的参数进行不断的优化；模型获取模块，用于当损失函数值稳定时，将此时的网络参数集合作为所述深度学习神经网络的参数，即得到最终训练的深度学习神经网络。
根据本发明另一实施方式，还提供一种大骨料集中区域检测用网络模型训练装置。其中，深度学习神经网络的具体结构参以上所述。图10示出了该训练装置的示意性框图。如图10所示，该训练装置包括：标注单元1010，用于接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注。与以上相似地，该图像数据集可以是大坝混凝土浇筑图像集。预处理单元1020，用于使用所述图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理；输入单元1030，用于将预处理好的图像输入所述深度学习神经网络中，并将标注信息数据作为所述深度学习神经网络的输出的真值标签；优化单元1040，用于计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对深度学习神经网络中的参数进行不断的优化；模型获取单元1050，用于当损失函数值稳定时，将此时的网络参数集合作为所述深度学习神经网络的参数，即得到最终训练的深度学习神经网络。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
图11示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1110、存储器1120、输入/输出接口1130、通信接口1140和总线1150。其中处理器1110、存储器1120、输入/输出接口1130和通信接口1140通过总线1150实现彼此之间在设备内部的通信连接。
处理器1110可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1120可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1120可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1120中，并由处理器1110来调用执行。
输入/输出接口1130用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1140用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1150包括一通路，在设备的各个组件(例如处理器1110、存储器1120、输入/输出接口1130和通信接口1140)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1110、存储器1120、输入/输出接口1130、通信接口1140以及总线1150，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
根据本发明实施方式，还提供一种计算机可读存储介质，其存储计算机指令，所述计算机指令用于使所述计算机执行以上大骨料集中区域检测方法或神经网络训练方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动介质，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。
本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种大骨料集中区域检测方法，其特征在于，包括：
调用摄像装置，对包含大骨料集中区域的环境进行拍照，以获得包含大骨料集中区域的图像；
将所述图像输入到深度学习神经网络模型中，来检测和确定图像中大骨料集中区域的位置信息；
在得到大骨料集中区域的位置信息之后，将结果发送至显示设备和警报设备；
其中，所述深度学习神经网络模型是使用以下数据进行训练的：带有大骨料集中区域的图像数据集，且该图像已进行了大骨料集中区域的标注，所述深度学习神经网络模型包括：
通过3*3卷积结构，建立的图像预处理模块；
特征提取网络，基于密集-注意Dense-Attention模块构建，Dense-Attention模块包括四个密集连接模块DenseBlock与卷积注意模块CBAM；
所述四个密集连接模块之间两两相连；所述密集连接模块包括两个依次连接的BN-ReLU-Conv；所述BN-ReLU-Conv包括一次连接的BN层、ReLU层和卷积层；其中，所述BN层卷积大小为1*1；所述ReLU层卷积大小为3*3；所述卷积注意模块包括依次相连接的CAM结构和SAM结构；所述CAM结构包括第一支路和第二支路；所述第一支路包括全局最大池化层；所述第二支路包括全局平均池化层；所述第一支路和所述第二支路均通过多层感知机进行加操作，再经过Sigmoi d激活层；所述SAM结构包括依次连接的全局最大池化层、全局平均池化层、特征拼接层、卷积层和Sigmoid激活层；所述密集连接模块与所述卷积注意模块之间串联连接；
检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接。
2.根据权利要求1所述的大骨料集中区域检测方法，还包括：
通过3*3卷积结构，构建图像预处理模块；
将DenseBlock与CBAM融合，构建Dense-Attention模块，并基于此构建特征提取网络；
构建锚点优化模块、转换连接模块和目标检测模块，并构成检测网络模型。
3.根据权利要求2所述的大骨料集中区域检测方法，还包括训练步骤，用以训练所述深度学习神经网络：
接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注；
使用所述图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理；
将预处理好的图像输入所述深度学习神经网络的特征提取网络和检测网络模型中，并将标注信息数据作为所述深度学习神经网络的输出的真值标签；
计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对深度学习神经网络中的参数进行不断的优化；
当损失函数值稳定时，将此时的网络参数集合作为所述深度学习神经网络的参数，即得到最终训练的深度学习神经网络。
4.一种大骨料集中区域检测用网络模型的训练方法，其特征在于，深度学习神经网络包括：通过3*3卷积结构，建立的图像预处理模块；特征提取网络，基于密集-注意Dense-Attention模块构建，Dense-Attention模块包括四个密集连接模块DenseBlock与卷积注意模块CBAM；检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接；
所述四个密集连接模块之间两两相连；所述密集连接模块包括两个依次连接的BN-ReLU-Conv；所述BN-ReLU-Conv包括一次连接的BN层、ReLU层和卷积层；其中，所述BN层卷积大小为1*1；所述ReLU层卷积大小为3*3；所述卷积注意模块包括依次相连接的CAM结构和SAM结构；所述CAM结构包括第一支路和第二支路；所述第一支路包括全局最大池化层；所述第二支路包括全局平均池化层；所述第一支路和所述第二支路均通过多层感知机进行加操作，再经过Sigmoi d激活层；所述SAM结构包括依次连接的全局最大池化层、全局平均池化层、特征拼接层、卷积层和Sigmoid激活层；所述密集连接模块与所述卷积注意模块之间串联连接；
所述训练方法包括：
接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注；
使用所述图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理；
将预处理好的图像输入所述深度学习神经网络的特征提取网络和检测网络模型中，并将标注信息数据作为所述深度学习神经网络的输出的真值标签；
计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对神经网络中的参数进行不断的优化；
当损失函数值稳定时，将此时的网络参数集合作为所述深度学习神经网络的参数，即得到最终训练的深度学习神经网络。
5.一种大骨料集中区域检测装置，其特征在于，包括：
调用单元，用于对包含大骨料集中区域的环境进行拍照，以获得包含大骨料集中区域的图像；
传送单元，用于将所述图像输入到深度学习神经网络模型单元中；
深度学习神经网络模型单元，用于检测和确定图像中大骨料集中区域的位置信息；
输出单元，用于将大骨料集中区域的位置信息传输至显示设备和警报设备；
其中，所述深度学习神经网络模型是使用以下数据进行训练的：带有大骨料集中区域的图像数据集，且该图像已进行了大骨料集中区域的标注，且所述深度学习神经网络模型包括：
通过3*3卷积结构，建立的图像预处理模块；
特征提取网络，基于密集-注意Dense-Attention模块构建，Dense-Attention模块包括四个密集连接模块DenseBlock与卷积注意模块CBAM；
所述四个密集连接模块之间两两相连；所述密集连接模块包括两个依次连接的BN-ReLU-Conv；所述BN-ReLU-Conv包括一次连接的BN层、ReLU层和卷积层；其中，所述BN层卷积大小为1*1；所述ReLU层卷积大小为3*3；所述卷积注意模块包括依次相连接的CAM结构和SAM结构；所述CAM结构包括第一支路和第二支路；所述第一支路包括全局最大池化层；所述第二支路包括全局平均池化层；所述第一支路和所述第二支路均通过多层感知机进行加操作，再经过Sigmoid激活层；所述SAM结构包括依次连接的全局最大池化层、全局平均池化层、特征拼接层、卷积层和Sigmoid激活层；所述密集连接模块与所述卷积注意模块之间串联连接；
检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接。
6.根据权利要求5所述的大骨料集中区域检测装置，还包括：
建模单元，用于通过3*3卷积结构，构建图像预处理模块；将DenseBlock与CBAM融合，构建Dense-Attention模块，并基于此构建特征提取网络；构建锚点优化模块、转换连接模块和目标检测模块，并构成检测网络模型。
7.根据权利要求5所述的大骨料集中区域检测装置，还包括训练单元，所述训练单元包括：
标注模块，用于接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注；
预处理模块，使用所述图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理；
输入模块，用于将预处理好的图像输入所述深度学习神经网络的特征提取网络和检测网络模型中，并将标注信息数据作为所述深度学习神经网络的输出的真值标签；
优化模块，用于计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对深度学习神经网络中的参数进行不断的优化；
模型获取模块，用于当损失函数值稳定时，将此时的网络参数集合作为所述深度学习神经网络的参数，即得到最终训练的深度学习神经网络。
8.一种大骨料集中区域检测用网络模型的训练装置，其特征在于，深度学习神经网络包括：通过3*3卷积结构，建立的图像预处理模块；特征提取网络，基于密集-注意Dense-Attention模块构建，Dense-Attention模块包括密集连接模块DenseBlock与卷积注意模块CBAM；检测网络模型，包括锚点优化模块、转换连接模块和目标检测模块，所述检测网络模型与所述特征提取网络串联连接；
所述四个密集连接模块之间两两相连；所述密集连接模块包括两个依次连接的BN-ReLU-Conv；所述BN-ReLU-Conv包括一次连接的BN层、ReLU层和卷积层；其中，所述BN层卷积大小为1*1；所述ReLU层卷积大小为3*3；所述卷积注意模块包括依次相连接的CAM结构和SAM结构；所述CAM结构包括第一支路和第二支路；所述第一支路包括全局最大池化层；所述第二支路包括全局平均池化层；所述第一支路和所述第二支路均通过多层感知机进行加操作，再经过Sigmoid激活层；所述SAM结构包括依次连接的全局最大池化层、全局平均池化层、特征拼接层、卷积层和Sigmoid激活层；所述密集连接模块与所述卷积注意模块之间串联连接；
所述训练装置包括：
标注单元，用于接收带有大骨料集中区域的图像数据集，并对图像数据集中的图像进行大骨料集中区域的标注；
预处理单元，使用所述图像预处理模块，对标注后的图像和标注信息数据进行训练前预处理；
输入单元，用于将预处理好的图像输入所述深度学习神经网络的特征提取网络和检测网络模型中，并将标注信息数据作为所述深度学习神经网络的输出的真值标签；
优化单元，用于计算每一次输出结果与对应的真值标签之间的损失函数值，通过不断迭代使损失函数值逐渐减小，利用网络参数优化算法对深度学习神经网络中的参数进行不断的优化；
模型获取单元，用于当损失函数值稳定时，将此时的网络参数集合作为所述深度学习神经网络的参数，即得到最终训练的深度学习神经网络。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至4中任一所述方法。
CN202010408722.6A 2020-05-14 2020-05-14 大骨料集中区域检测方法和装置及其网络模型训练方法 Active CN111797826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408722.6A CN111797826B (zh) 2020-05-14 2020-05-14 大骨料集中区域检测方法和装置及其网络模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408722.6A CN111797826B (zh) 2020-05-14 2020-05-14 大骨料集中区域检测方法和装置及其网络模型训练方法

Publications (2)

Publication Number Publication Date
CN111797826A CN111797826A (zh) 2020-10-20
CN111797826B true CN111797826B (zh) 2023-04-18

Family

ID=72806458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408722.6A Active CN111797826B (zh) 2020-05-14 2020-05-14 大骨料集中区域检测方法和装置及其网络模型训练方法

Country Status (1)

Country Link
CN (1) CN111797826B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112712088B (zh) * 2020-12-31 2023-02-14 洛阳语音云创新研究院 动物膘情检测方法、装置及计算机可读存储介质
CN113255524B (zh) * 2021-05-27 2022-08-16 山东省交通规划设计院集团有限公司 一种基于YOLO v4的路面信息识别方法及系统
CN113487643B (zh) * 2021-07-19 2022-06-28 华电西藏能源有限公司大古水电分公司 一种胶结砂砾石料场采样确定方法
CN114118266B (zh) * 2021-11-24 2024-08-20 华侨大学 一种表面含砂浆的再生骨料的视觉检测分类方法和系统
CN114419330B (zh) * 2022-01-24 2024-02-09 西北大学 一种二维深度假图泛化检测方法、系统、设备及存储介质
CN114998256A (zh) * 2022-05-31 2022-09-02 点昀技术(南通)有限公司 物料附着颗粒度检测方法、装置、设备及存储介质
CN115100165B (zh) * 2022-07-06 2024-09-10 华南农业大学 一种基于肿瘤区域ct图像的结直肠癌t分期方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776671B2 (en) * 2018-05-25 2020-09-15 Adobe Inc. Joint blur map estimation and blur desirability classification from an image
CN110084210B (zh) * 2019-04-30 2022-03-29 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110781887A (zh) * 2019-10-25 2020-02-11 上海眼控科技股份有限公司 车牌螺丝检测方法、装置和计算机设备

Also Published As

Publication number Publication date
CN111797826A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
CN111797826B (zh) 大骨料集中区域检测方法和装置及其网络模型训练方法
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN111524112B (zh) 追钢识别方法、系统、设备及介质
WO2023206904A1 (zh) 一种行人轨迹跟踪方法、系统及相关装置
WO2024037660A1 (zh) 确定异常分拣区域的方法、装置、电子设备及存储介质
CN113723361A (zh) 一种基于深度学习的视频监测方法及设备
CN114463825A (zh) 基于多模态融合的人脸预测方法及相关设备
CN115909445A (zh) 人脸图像伪造检测方法及相关设备
CN115496895A (zh) 目标识别方法及其模型、电子设备、存储介质
CN113762314A (zh) 一种烟火检测方法和装置
CN115861400A (zh) 目标对象检测方法、训练方法、装置以及电子设备
CN113673478B (zh) 基于深度学习全景拼接的港口大型设备检测与识别方法
CN111753826A (zh) 车辆与车牌的关联方法、装置和电子系统
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN116912675B (zh) 一种基于特征迁移的水下目标检测方法及系统
CN113822871A (zh) 基于动态检测头的目标检测方法、装置、存储介质及设备
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN117557781A (zh) 目标对象识别的方法及装置、电子设备和存储介质
Zhou et al. Vehicle detection in remote sensing image based on machine vision
CN117275086A (zh) 手势识别方法、装置、计算机设备、存储介质
CN114038067B (zh) 煤矿人员行为检测方法、设备及存储介质
WO2020052170A1 (zh) 一种目标对象识别方法、装置及存储介质
CN114170366B (zh) 基于点线特征融合的三维重建方法及电子设备
CN113139483B (zh) 人体行为识别方法、装置、设备、存储介质以及程序产品
CN112861687B (zh) 用于门禁系统的口罩佩戴检测方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant