CN110245695A - 一种基于卷积神经网络的tbm岩渣大小等级识别方法 - Google Patents

一种基于卷积神经网络的tbm岩渣大小等级识别方法 Download PDF

Info

Publication number
CN110245695A
CN110245695A CN201910464606.3A CN201910464606A CN110245695A CN 110245695 A CN110245695 A CN 110245695A CN 201910464606 A CN201910464606 A CN 201910464606A CN 110245695 A CN110245695 A CN 110245695A
Authority
CN
China
Prior art keywords
image
convolutional neural
rock slag
neural networks
tbm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910464606.3A
Other languages
English (en)
Inventor
朱国力
杨哲
贺泊宁
刘泱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910464606.3A priority Critical patent/CN110245695A/zh
Publication of CN110245695A publication Critical patent/CN110245695A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection

Abstract

本发明属于隧道施工配套技术领域,并公开了一种基于卷积神经网络的TBM岩渣大小等级识别方法,包括:采集TBM岩渣原始图像,并构建单一场景下的岩渣图像样本库;采用卷积神经网络对样本图像进行迭代训练,优化网络参数,得到最优化的卷积神经网络模型;将测试集图像输入到最优化的卷积神经网络模型,属于各测试样本属于不同类别的概率分布值,并将此概率分布值作为岩渣大小等级的预测结果,从而完成整体的TBM岩渣大小等级识别过程。通过本发明,可以快速、准确地通过图像对初破碎岩渣的大小等级进行评估,并有效提高了TBM施工效率和故障诊断水平。

Description

一种基于卷积神经网络的TBM岩渣大小等级识别方法
技术领域
本发明属于隧道施工配套技术领域,更具体地,涉及一种基于卷积神经网络的TBM岩渣大小等级识别方法。
背景技术
全断面硬岩掘进机(TBM)在隧道施工行业占领着重要的地位,随着水利水电、铁路、交通、矿山、城市建设的发展,其巨大的应用前景日益凸显。TBM的出渣状态是隧道施工管理人员的重要监控项,出渣监控以开挖中掉落至皮带机上破碎岩渣的尺寸大小为主要特征,岩渣颗粒过大除了会对转送皮带造成直接损伤,还往往对应着掘进机刀盘的故障或当前掘进参数设置的不合理。因此,岩渣大小等级识别对于TBM故障诊断具有重要意义。
作为TBM隧道施工的三大施工工序(掘进、支护、出渣)之一,出渣工作在施工过程中非常关键。传统的出渣监控一般采用全人工的方式,由专人看守在主机皮带机落渣处,发现异常现场处理,然而,由于硬岩地质隧道施工线路往往较长,推进速度缓慢且昼夜施工的特点,传统的人工监督工作枯燥乏味,需要消耗监督人员大量的时间与精力,而且极易出现漏检,因此对TBM岩渣的自动监控和准确识别提出了迫切需求。
现有技术中已经提出了一些岩渣图像识别的解决方案。例如,可采用在运转速度为2-3m/s的皮带上拍摄清晰无拖影的岩渣图像来达到识别的目的,具体可参见中国专利CN201621061653.1等。然而,进一步的研究表明,在采集的TBM出渣图像中,常见会出现以下现象譬如岩渣、泥土和水随机混合,渣块边缘模糊,纹理特征混乱等,特别是现有的图像处理算法无法满足岩渣颗粒大小等级判断的快速性、准确性要求。相应地,本领域亟需对此作出进一步的改进,以便符合更高效率和准确性的TBM岩渣大小识别工艺需求。
发明内容
针对现有技术的以上不足之处和改进需求,本发明提供了一种基于卷积神经网络的TBM岩渣大小等级识别方法,其中通过结合TBM岩渣出渣工况的特征和需求,针对性建立单一场景下的岩渣图像样本库,并采用深层卷积神经网络模型对训练样本进行迭代训练,相应可在获得优化网络参数的情况下准确获得故障样本属于各类故障的概率值,进而可依据最大概率值来快速对岩渣大小等级进行评估,有效提高了TBM施工效率和故障诊断水平。
为实现上述目的,按照本发明,提供了一种基于卷积神经网络的TBM岩渣大小等级识别方法,其特征在于,该方法包括下列步骤:
(1)岩渣图像识别样本库的构建步骤
针对TBM隧道施工的出渣阶段,采集TBM岩渣原始图像;将所获得的多幅原始图像调整至所需的尺寸以作为样本图像,并分别记录其调整后的图像宽、图像高等图像数据;
将调整后的多幅图像依照各图像内最大岩块的体积大小来进行分类并记录类别数K;接着,将所有样本图像划分为训练集(Xtrain,Ytrain)、验证集(Xvalidate,Yvalidate)和测试集(Xtest,Ytest),其中X表示图像,Y表示图像所属类别标签,并且不同数据集中的图像文件无交集,由此构建TBM岩渣图像识别样本库;
(2)基于卷积神经网络的样本训练步骤
在所构建的TBM岩渣图像识别样本库的基础上,继续对训练样本进行迭代训练,该步骤具体包括以下子步骤:
(2-1)将所述训练集中的样本输入到卷积神经网络的卷积层来执行首次卷积操作,由此输出对应的特征映射图;对该特征映射图依次执行池化降采样处理和局部响应归一化处理;然后,将处理后的特征映射图作为输入值,再次输入到卷积神经网络的卷积层来执行二次卷积操作,由此输出对应的特征映射图,并对该特征映射图依次执行池化处理和局部响应归一化处理;
(2-2)将完成子步骤(2-1)全部处理后的特征映射图作为输入值,再次输入到卷积神经网络的卷积层,并且按照预设的所需次数来多次执行卷积操作;
(2-3)将子步骤(2-2)多次卷积操作后的特征映射图作为输入值,继续输入到卷积神经网络的池化层,由此执行池化和局部响应归一化处理;
(2-4)将完成子步骤(2-3)全部处理后的特征映射图提取出来转换为一维,然后输入到卷积神经网络的第一个全链接层,由此输出与该全链接层的神经元个数保持一致的特征值;以此方式,顺序输入到卷积神经网络的其余多个全链接层以获得对应的特征值,最终输出与上述类别数K保持一致的多个特征值;
(2-5)将子步骤(2-4)所输出的多个特征值作为置信度,并采用Softmax算法来进行回归处理,相应生成对应的概率分布数据;
(2-6)基于子步骤(2-5)生成的概率分布数据和所述训练集中的Ytrain,计算出对应的代价函数值;接着,更新上述卷积神经网络包括卷积核参数、权重、偏置在内的训练参数,由此使得对应的代价函数值逐次降低直至达到收敛,由此完成对卷积神经网络的最优化处理;在此过程中,同步采用上述验证集来验证卷积神经网络的精度;
(3)TBM岩渣大小等级的识别步骤
将步骤(1)所划分的测试集(Xtest,Ytest)输入到最优化处理后的卷积神经网络,得到各测试样本属于不同类别的概率分布值,并将此概率分布值作为岩渣大小等级的预测结果,从而完成整体的TBM岩渣大小等级识别过程。
作为进一步优选地,在步骤(1)中,所述TBM岩渣原始图像优选采用视觉相机来采集,并且该视觉相机安装在TBM主机皮带机的上方,且具备三轴方向上的位姿调整自由度。
作为进一步优选地,在步骤(1)中,调整后的多幅图像依照各图像内最大岩块的体积大小来进行分类,并且该类别数优选被设定为以下3种:图像内最大岩块体积Vmax<1000cm3时的健康掘进状态类别、图像内最大岩块体积1000cm3≤Vmax≤2000cm3时的掘进参数需调整状态类别,以及图像内最大岩块体积Vmax>2000cm3时的停机检查状态类别。
作为进一步优选地,在步骤(1)中,为了解决类间数据不平衡的问题,对原始图像进行数据增强处理,对数据量少的类别下的原始图像采用小幅旋转、局部变形、图片翻转等对主要特征扰动较小的方式进行操作以平衡类间差距。
作为进一步优选地,在步骤(1)中,所有样本图像的数量优选设定为11640张以上,并且所述训练集、验证集和测试集的比例优选进一步设定为19:1:5。
作为进一步优选地,在步骤(2)中,每轮迭代更新参数后进一步优选记录验证集在实时参数上的准确率,并选择固化当前验证准确率最高的模型参数作为TBM岩渣识别的最优化模型参数。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,主要具备以下的技术优点:
1、本发明通过构建单一场景下的岩渣图像样本库,并采用深层卷积神经网络模型对训练样本进行迭代训练,可有效避免人工提取特征,自动按照既定目标进行学习,同时更为准确地提取图像的深层次特征;
2、在卷积神经网络的多次迭代过程中,本发明进一步优化采用了将它的全连接层(FC层)的权重和偏置加入代价函数正则化项的方式,并且使得整个训练过程中的神经元随机失活,有效避免了过拟合;
3、按照本发明的岩渣识别工序易于移植、操控性好,并由于可依据最大概率值来快速对岩渣大小等级进行评估,相应具备预测速度快、准确率高等优点,因而尤其适用于TBM岩渣识别及排障等应用场合。
附图说明
图1是按照本发明所构建的基于卷积神经网络的TBM岩渣大小等级识别方法的整体工艺流程示意图;
图2是用于示范性解释说明卷积神经网络的模型构造图;
图3是用于评估本发明识别方法特性的操作特性曲线图(ROC曲线图)。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1是按照本发明所构建的基于卷积神经网络的TBM岩渣大小等级识别方法的整体工艺流程示意图,图2是用于示范性解释说明卷积神经网络的模型构造图。如图1和图2所示,本发明通过针对性建立单一场景下的岩渣图像样本库,并采用深层卷积神经网络模型对训练样本进行迭代训练,相应可在获得优化网络参数的情况下准确获得故障样本属于各类故障的概率值,进而可依据最大概率值来快速对岩渣大小等级进行评估。
按照本发明的基本构思,该制备方法主要包括下列步骤:
步骤一、是岩渣图像识别样本库的构建步骤。
针对TBM隧道施工的出渣阶段,采集TBM岩渣原始图像;将所获得的多幅原始图像调整至所需的尺寸以作为样本图像,并分别记录其调整后的图像宽、图像高等图像数据;
将调整后的多幅图像依照各图像内最大岩块的体积大小来进行分类并记录类别数K;接着,将所有样本图像划分为训练集(Xtrain,Ytrain)、验证集(Xvalidate,Yvalidate)和测试集(Xtest,Ytest),其中X表示图像,Y表示图像所属类别标签,并且不同数据集中的图像文件无交集,由此构建TBM岩渣图像识别样本库。
下面将结合具体运用场景来对步骤一更为详细地进行解释说明。在此步骤中,首先可通过安装在TBM主机皮带机上方固定位姿的相机采集TBM岩渣图像,要求其分辨率一般不低于200万像素,保证图像的清晰度;皮带运行速度快,需保证抓拍图像不产生拖影;洞内光线条件差,需适量补光以保证图像主体清晰。根据以上需求,本发明方法选用的相机相关技术参数可见下表1。
表1相机的相关技术参数
接着,筛选岩渣图像,并调整图像大小,原始图像宽和高譬如可设定为(W,H)=(2560,1440),去掉预留边缘并截取图像中间主体区域,调整后的目标图像宽和高优选可设定为(W,H)=(950,950)。接着,对大小调整后的图像进行细节滤波处理,譬如调节亮度、对比度、色度至原始值的150%。
然后,对每张图片的大小等级进行标注,建立TBM出渣图像识别样本库。分类标准在本发明中优选可基于拍摄画面中的最大渣块体积Vmax进行评估,从掘进状态和皮带损伤两方面考虑,图像被划分为三类,分别对应:健康掘进状态状态(Vmax<1000cm3时)、掘进参数需调整状态(1000cm3≤Vmax≤2000cm3时)、停机检查状态类别(Vmax>2000cm3时)。
此外,由于原始采集数据具有类别间数据不平衡的特点,因此为了训练出更理想的网络模型,简单有效的方法是对原始数据集进行扩充,由于渣块的大小为主要分类特征,我们对数据量少的类别下的原始图像采用小幅旋转、局部变形、图片翻转等对主要特征扰动较小的方式进行操作,最终实现平衡类间差距,避免对数据量少的类的学习出现过拟合,进而获得更好的学习效果。
相应地,按照本发明的一个优选实施方式,扩充后的样本库优选共有11640张分辨率为950*950的图像样本,并进一步优选按19:1:5的比例分为训练集(Xtrain,Ytrain),验证集(Xvalidate,Yvalidate),测试集(Xtest,Ytest),其中X表示图像,Y表示图像所属类别标签,不同数据集中的图像文件无交集。
步骤二,是基于卷积神经网络的样本训练步骤。
在所构建的TBM岩渣图像识别样本库的基础上,继续对训练样本进行迭代训练,该步骤具体包括以下子步骤:
首先,将所述训练集中的样本输入到卷积神经网络的卷积层来执行首次卷积操作,由此输出对应的特征映射图;对该特征映射图依次执行池化降采样处理和局部响应归一化处理;然后,将处理后的特征映射图作为输入值,再次输入到卷积神经网络的卷积层来执行二次卷积操作,由此输出对应的特征映射图,并对该特征映射图依次执行池化处理和局部响应归一化处理;
接着,将完成以上全部处理后的特征映射图作为输入值,再次输入到卷积神经网络的卷积层,并且按照预设的所需次数来多次执行卷积操作;
接着,将可以上多次卷积操作后的特征映射图作为输入值,继续输入到卷积神经网络的池化层,由此执行池化和局部响应归一化处理;
接着,将完成以上全部处理后的特征映射图提取出来转换为一维,然后输入到卷积神经网络的第一个全链接层,由此输出与该全链接层的神经元个数保持一致的特征值;以此方式,顺序输入到卷积神经网络的其余多个全链接层以获得对应的特征值,最终输出与上述类别数K保持一致的多个特征值;
接着,将上一操作所输出的多个特征值作为置信度,并采用Softmax算法来进行回归处理,相应生成对应的概率分布数据;
最后,基于所生成的概率分布数据和所述训练集中的Ytrain,计算出对应的代价函数值;接着,更新上述卷积神经网络包括卷积核参数、权重、偏置在内的训练参数,由此使得对应的代价函数值逐次降低直至达到收敛,由此完成对卷积神经网络的最优化处理;在此过程中,同步采用上述验证集来验证卷积神经网络的精度。
下面将结合具体运用场景来对步骤二更为详细地进行解释说明。
首先,譬如可构建一个具有11层网络的卷积神经网络,对图像进行卷积、池化等操作,网络结构通过改进AlexNet结构来实现,具体包括以下步骤:
(1)将训练集(Xtrain,Ytrain)中的图像大小譬如调整为227*227*3,其中3代表的是三通道RGB图像,将尺寸调整后的训练集样本输入卷积神经网络Conv1卷积层,优选可通过96个卷积核尺寸为11*11的卷积模块,步长譬如设置为4,不适使用全零填充的方式进行卷积操作,使用ReLU激活函数,将输出特征值维持在(0,1)之间,由此输出大小为55*55*96的特征映射图。
(2)将Conv1层输出的特征图作为Maxpool1层的输入,进行池化降采样处理,池化方式为最大池化,过滤器尺寸譬如为[3,3],步长可为2,采用全零填充的方式,由此输出大小为27*27*96的特征映射图,在输入到Conv2层之前对其进行局部响应归一化处理。
(3)将Maxpool1层输出的特征图作为Conv2层的输入,优选可通过256个卷积核尺寸为5*5的卷积模块,步长可设置为1,以全零填充的方式进行卷积操作,使用ReLU激活函数,将输出特征值维持在(0,1)之间,由此输出大小为27*27*256的特征映射图。
(4)将Conv2层输出的特征图作为Maxpool2层的输入,进行池化降采样处理,池化方式为最大池化,过滤器尺寸譬如为[3,3],步长可为2,采用全零填充的方式,由此输出大小为13*13*96的特征映射图,在输入到Conv3层之前对其进行局部响应归一化处理。
(5)将Maxpool2层输出的特征图作为Conv3层的输入,优选可通过384个卷积核尺寸为3*3的卷积模块,步长譬如可设置为1,以全零填充的方式进行卷积操作,使用ReLU激活函数,将输出特征值维持在(0,1)之间,由此输出大小为13*13*384的特征映射图。
(6)将Conv3层输出的特征图作为Conv4层的输入,优选可通过384个卷积核尺寸为3*3的卷积模块,步长譬如可设置为1,以全零填充的方式进行卷积操作,使用ReLU激活函数,将输出特征值维持在(0,1)之间,由此输出大小为13*13*384的特征映射图。
(7)将Conv4层输出的特征图作为Conv5层的输入,优选可通过256个卷积核尺寸为3*3的卷积模块,步长譬如可设置为1,以全零填充的方式进行卷积操作,使用ReLU激活函数,将输出特征值维持在(0,1)之间,由此输出大小为13*13*256的特征映射图。
(8)将Conv5层输出的特征图作为Maxpool3层的输入,进行池化降采样处理,池化方式为最大池化,过滤器尺寸譬如为[3,3],步长可设置为2,采用全零填充的方式,由此输出大小为6*6*256的特征映射图,同样进行局部响应归一化处理。
(9)将Maxpool3层输出的大小为6*6*256的特征图向量提取出来,将其转换为一维,将转换完成的向量输入FC1全链接层,设置FC1全链接层神经元个数譬如为4096,采用ReLU激活函数,输出与神经元个数相同的特征值,最后采用Dropout的处理方式进行输出。
(10)将FC1全链接层的输出作为FC2全链接层的输入,设置FC2全链接层神经元个数同样譬如为4096,采用ReLU激活函数,输出与神经元个数相同的特征值,最后采用Dropout的处理方式进行输出。
(11)以步骤(9)中FC2全链接层的输出作为FC3全链接层的输入,设置FC3全链接层神经元个数为图像类别数,输出与类别数相同的特征值,分类器采用Softmax进行回归处理,将FC3全链接层的输出用作置信度来生成新的输出,得到概率分布结果。
此外,按照本发明的一个优选实施方式,还可以采用基于反向传播和梯度下降的算法,对深层神经网络训练参数进行更新,其具体步骤如下:
首先,可依照本领域的常规计算公式来计算代价函数,譬如:
其中,J(θ)为一个batch上的原始交叉熵;R(θ)为加在J(θ)上的L2正则化项;θ表示神经网络中的训练参数,包括卷积核参数、权重和偏置;m为batch的大小,是一次优化所需要的图片数量;n为标签类别数;y′i表示在一个batch里第i张图片的标签;yj为最后一层全链接层第j个节点的输出值(1≤j≤n);||θ2为θ的二范数,为正则化项的权重,表示模型复杂损失占总损失的比例。本例中,m=100,n=3,λ=0.01。
接着,初始化初始一阶矩矢量m0=0,初始二阶矩矢量v0=0,全局步数t=0。每进行一次迭代优化步骤,全局步数t自加1。
接着,计算训练参数θ的梯度值,并返回包含一组梯度与参数对(gθ,θ)的对应列表;以此方式,针对所有训练参数,计算当前迭代轮数下梯度的指数衰减平均值,同时计算当前迭代轮数下梯度平方的指数衰减平均值,然后对训练训练参数(包括卷积核参数、权重、偏置等)的值进行更新。
重复以上操作进行迭代,完成一次前向传播和一次反向传播视为完成一次迭代,代表卷积神经网络模型被输入的训练样本训练了一次,记为一个iteration,而1个epoch等于使用训练集中的全部样本训练一次,表示完成了所有训练样本的一次前向传播和一次反向传播,重复前步骤2和步骤3直至达到预先设定的最大迭代次数num_epoch,期间在每轮iteration完成后将验证集(Xvalidate,Yvalidate)输入参数更新后的模型验证准确率,一旦超过当前最高值,便将模型持久化,保存在验证集上表现最优异的模型。
按照本发明的另一优选实施方式,为了避免模型训练过程中出现过拟合,代价函数中可加入全链接层的权重和偏置值的L2正则化项;加入Dropout的设计,Dropout采用随机失活神经元的方式降低节点之间的相互依赖,随机将部分神经元节点的权重归零,并且每次迭代的节点受体不同保证各节点之间的平衡,达到与模型融合类似的效果。Dropout比例设置为0.5。
此外,在进行神经网络的前向计算与反向优化时,都是基于一批数据进行,即训练过程中每轮将一个batch的训练样本而非单张输入网络进行前向计算,因此得到的特征向量或特征图的维数相应加一,第一个维度的大小等于batch的大小、反向优化的目标是最小化代价函数L(θ)在一个batch上的和。
步骤三、是TBM岩渣大小等级的识别步骤。
将前面所划分的测试集(Xtest,Ytest)输入到最优化处理后的卷积神经网络,得到各测试样本属于不同类别的概率分布值,并将此概率分布值作为岩渣大小等级的预测结果,从而完成整体的TBM岩渣大小等级识别过程。
下面将给出按照本发明的卷积神经网络训练阶段的算法工作流程,如下表2所示:
表2卷积神经网络训练阶段的算法流程
测试阶段的算法工作流程如下:
对于以上的整个工艺过程而言,测试集共有2328张图片,最终测试准确率为93.81%,图3展示了最终模型在测试集上的ROC曲线与AUC值。
在工作站上进行测试,预加载模型后,预测速度可达131FPS(不包括图片读取时间)。工作站配置为:Intel Xeon E5 2620v2@2.10GHZ六核心CPU,32G内存,采用GPU加速,显卡型号为NVIDIA RTX-2070,显存8G,2304个CUDA核心。
综上,本发明可以快速地通过图像对初破碎岩渣的大小等级进行评估,为施工管理人员提供准确依据,有效提高TBM施工效率和故障诊断水平。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于卷积神经网络的TBM岩渣大小等级识别方法,其特征在于,该方法包括下列步骤:
(1)岩渣图像识别样本库的构建步骤
针对TBM隧道施工的出渣阶段,采集TBM岩渣原始图像;将所获得的多幅原始图像调整至所需的尺寸以作为样本图像,并分别记录其调整后的图像宽、图像高等图像数据;
将调整后的多幅图像依照各图像内最大岩块的体积大小来进行分类并记录类别数K;接着,将所有样本图像划分为训练集(Xtrain,Ytrain)、验证集(Xvalidate,Yvalidate)和测试集(Xtest,Ytest),其中X表示图像,Y表示图像所属类别标签,并且不同数据集中的图像文件无交集,由此构建TBM岩渣图像识别样本库;
(2)基于卷积神经网络的样本训练步骤
在所构建的TBM岩渣图像识别样本库的基础上,继续对训练样本进行迭代训练,该步骤具体包括以下子步骤:
(2-1)将所述训练集中的样本输入到卷积神经网络的卷积层来执行首次卷积操作,由此输出对应的特征映射图;对该特征映射图依次执行池化降采样处理和局部响应归一化处理;然后,将处理后的特征映射图作为输入值,再次输入到卷积神经网络的卷积层来执行二次卷积操作,由此输出对应的特征映射图,并对该特征映射图依次执行池化处理和局部响应归一化处理;
(2-2)将完成子步骤(2-1)全部处理后的特征映射图作为输入值,再次输入到卷积神经网络的卷积层,并且按照预设的所需次数来多次执行卷积操作;
(2-3)将子步骤(2-2)多次卷积操作后的特征映射图作为输入值,继续输入到卷积神经网络的池化层,由此执行池化和局部响应归一化处理;
(2-4)将完成子步骤(2-3)全部处理后的特征映射图提取出来转换为一维,然后输入到卷积神经网络的第一个全链接层,由此输出与该全链接层的神经元个数保持一致的特征值;以此方式,顺序输入到卷积神经网络的其余多个全链接层以获得对应的特征值,最终输出与上述类别数K保持一致的多个特征值;
(2-5)将子步骤(2-4)所输出的多个特征值作为置信度,并采用Softmax算法来进行回归处理,相应生成对应的概率分布数据;
(2-6)基于子步骤(2-5)生成的概率分布数据和所述训练集中的Ytrain,计算出对应的代价函数值;接着,更新上述卷积神经网络包括卷积核参数、权重、偏置在内的训练参数,由此使得对应的代价函数值逐次降低直至达到收敛,由此完成对卷积神经网络的最优化处理;在此过程中,同步采用上述验证集来验证卷积神经网络的精度;
(3)TBM岩渣大小等级的识别步骤
将步骤(1)所划分的测试集(Xtest,Ytest)输入到最优化处理后的卷积神经网络,得到各测试样本属于不同类别的概率分布值,并将此概率分布值作为岩渣大小等级的预测结果,从而完成整体的TBM岩渣大小等级识别过程。
2.如权利要求1所述的TBM岩渣大小等级识别方法,其特征在于,在步骤(1)中,所述TBM岩渣原始图像优选采用视觉相机来采集,并且该视觉相机安装在TBM主机皮带机的上方,且具备三轴方向上的位姿调整自由度。
3.如权利要求1或2所述的TBM岩渣大小等级识别方法,其特征在于,在步骤(1)中,调整后的多幅图像依照各图像内最大岩块的体积大小来进行分类,并且该类别数优选被设定为以下3种:图像内最大岩块体积Vmax<1000cm3时的健康掘进状态类别、图像内最大岩块体积1000cm3≤Vmax≤2000cm3时的掘进参数需调整状态类别,以及图像内最大岩块体积Vmax>2000cm3时的停机检查状态类别。
4.如权利要求1-3任意一项所述的TBM岩渣大小等级识别方法,其特征在于,在步骤(1)中,为了解决类间数据不平衡的问题,对原始图像进行数据增强处理,对数据量少的类别下的原始图像采用小幅旋转、局部变形、图片翻转等对主要特征扰动较小的方式进行操作以平衡类间差距。
5.如权利要求1-4任意一项所述的TBM岩渣大小等级识别方法,其特征在于,在步骤(1)中,所有样本图像的数量优选设定为11640张以上,并且所述训练集、验证集和测试集的比例优选进一步设定为19:1:5。
6.如权利要求1-5任意一项所述的TBM岩渣大小等级识别方法,其特征在于,在步骤(2)中,每轮迭代更新参数后优选进一步记录验证集在实时参数上的准确率,并选择固化当前验证准确率最高的模型参数作为TBM岩渣识别的最优化模型参数。
CN201910464606.3A 2019-05-30 2019-05-30 一种基于卷积神经网络的tbm岩渣大小等级识别方法 Pending CN110245695A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910464606.3A CN110245695A (zh) 2019-05-30 2019-05-30 一种基于卷积神经网络的tbm岩渣大小等级识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910464606.3A CN110245695A (zh) 2019-05-30 2019-05-30 一种基于卷积神经网络的tbm岩渣大小等级识别方法

Publications (1)

Publication Number Publication Date
CN110245695A true CN110245695A (zh) 2019-09-17

Family

ID=67885555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910464606.3A Pending CN110245695A (zh) 2019-05-30 2019-05-30 一种基于卷积神经网络的tbm岩渣大小等级识别方法

Country Status (1)

Country Link
CN (1) CN110245695A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782078A (zh) * 2019-10-18 2020-02-11 武汉科技大学 一种耙吸式挖泥船出泥率预测的学习方法
CN111242909A (zh) * 2020-01-07 2020-06-05 同济大学 一种基于卷积神经网络的建筑弃土粒度分布快速识别方法
CN111522771A (zh) * 2020-04-20 2020-08-11 北京百度网讯科技有限公司 眼底图像处理方法、终端设备及存储介质
CN111754627A (zh) * 2020-05-30 2020-10-09 上海电力大学 一种结合卷积神经网络和页岩软数据的页岩重构方法
CN112990227A (zh) * 2021-02-08 2021-06-18 中国铁建重工集团股份有限公司 掌子面地质检测方法
CN114320316A (zh) * 2022-01-14 2022-04-12 重庆邮电大学 一种盾构机施工预警方法及装置
CN116682010A (zh) * 2023-06-01 2023-09-01 北京交通大学 一种基于tbm岩渣图像的围岩分类实时预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156807A (zh) * 2015-04-02 2016-11-23 华中科技大学 卷积神经网络模型的训练方法及装置
CN107506786A (zh) * 2017-07-21 2017-12-22 华中科技大学 一种基于深度学习的属性分类识别方法
CN108564588A (zh) * 2018-03-21 2018-09-21 华中科技大学 一种基于深度特征和图割法的建成区自动提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156807A (zh) * 2015-04-02 2016-11-23 华中科技大学 卷积神经网络模型的训练方法及装置
CN107506786A (zh) * 2017-07-21 2017-12-22 华中科技大学 一种基于深度学习的属性分类识别方法
CN108564588A (zh) * 2018-03-21 2018-09-21 华中科技大学 一种基于深度特征和图割法的建成区自动提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
呆呆的猫: "卷积神经网络超详细介绍", 《呆呆的猫,URL:HTTPS://BLOG.CSDN.NET/JIAOYANGWM/ARTICLE/DETAILS/80011656》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782078A (zh) * 2019-10-18 2020-02-11 武汉科技大学 一种耙吸式挖泥船出泥率预测的学习方法
CN110782078B (zh) * 2019-10-18 2023-04-25 武汉科技大学 一种耙吸式挖泥船出泥率预测的学习方法
CN111242909A (zh) * 2020-01-07 2020-06-05 同济大学 一种基于卷积神经网络的建筑弃土粒度分布快速识别方法
CN111242909B (zh) * 2020-01-07 2022-10-25 同济大学 一种基于卷积神经网络的建筑弃土粒度分布快速识别方法
CN111522771A (zh) * 2020-04-20 2020-08-11 北京百度网讯科技有限公司 眼底图像处理方法、终端设备及存储介质
CN111522771B (zh) * 2020-04-20 2023-08-15 北京百度网讯科技有限公司 眼底图像处理方法、终端设备及存储介质
CN111754627A (zh) * 2020-05-30 2020-10-09 上海电力大学 一种结合卷积神经网络和页岩软数据的页岩重构方法
CN112990227A (zh) * 2021-02-08 2021-06-18 中国铁建重工集团股份有限公司 掌子面地质检测方法
CN112990227B (zh) * 2021-02-08 2022-12-27 中国铁建重工集团股份有限公司 掌子面地质检测方法
CN114320316A (zh) * 2022-01-14 2022-04-12 重庆邮电大学 一种盾构机施工预警方法及装置
CN116682010A (zh) * 2023-06-01 2023-09-01 北京交通大学 一种基于tbm岩渣图像的围岩分类实时预测方法
CN116682010B (zh) * 2023-06-01 2024-01-23 北京交通大学 一种基于tbm岩渣图像的围岩分类实时预测方法

Similar Documents

Publication Publication Date Title
CN110245695A (zh) 一种基于卷积神经网络的tbm岩渣大小等级识别方法
CN108334847B (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
CN106683048A (zh) 一种图像超分辨率方法及设备
CN109241871A (zh) 一种基于视频数据的公共区域人流跟踪方法
CN110188705A (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN111898406B (zh) 基于焦点损失和多任务级联的人脸检测方法
CN106446930A (zh) 基于深层卷积神经网络的机器人工作场景识别方法
CN108520114A (zh) 一种纺织布疵点检测模型及其训练方法和应用
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN108256426A (zh) 一种基于卷积神经网络的人脸表情识别方法
CN107529650A (zh) 网络模型的构建和闭环检测方法、相应装置及计算机设备
Peng et al. Rgb-t crowd counting from drone: A benchmark and mmccn network
Wang et al. Investigation into recognition algorithm of helmet violation based on YOLOv5-CBAM-DCN
CN109858506A (zh) 一种面向卷积神经网络分类结果的可视化算法
CN109214308A (zh) 一种基于焦点损失函数的交通异常图片识别方法
CN108875596A (zh) 一种基于dssnn神经网络的铁路场景图像语义分割方法
CN109753946A (zh) 一种基于身体关键点监督的真实场景行人小目标检测网络及检测方法
CN112070043B (zh) 基于特征融合的安全帽佩戴卷积网络、训练及检测方法
CN111368690A (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN110458201A (zh) 一种遥感影像面向对象分类方法及分类装置
Song et al. MSFYOLO: Feature fusion-based detection for small objects
CN108764018A (zh) 一种基于卷积神经网络的多任务车辆再识别方法及装置
CN115546565A (zh) 基于yolocbf电厂关键区域管道油液泄漏检测方法
CN114330516A (zh) 基于多图引导神经网络模型的小样本徽景图像分类

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190917

RJ01 Rejection of invention patent application after publication