CN110245689A - 基于机器视觉的盾构刀具识别与定位检测方法 - Google Patents
基于机器视觉的盾构刀具识别与定位检测方法 Download PDFInfo
- Publication number
- CN110245689A CN110245689A CN201910435974.5A CN201910435974A CN110245689A CN 110245689 A CN110245689 A CN 110245689A CN 201910435974 A CN201910435974 A CN 201910435974A CN 110245689 A CN110245689 A CN 110245689A
- Authority
- CN
- China
- Prior art keywords
- shield cutter
- cutter
- detection
- image
- residual error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000013480 data collection Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 3
- 238000000034 method Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 11
- 210000004027 cell Anatomy 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 210000003771 C cell Anatomy 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000012958 reprocessing Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010276 construction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003862 health status Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000012141 concentrate Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003245 working effect Effects 0.000 description 2
- 208000032365 Electromagnetic interference Diseases 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 238000011221 initial treatment Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于机器视觉的盾构刀具识别与定位检测方法。采集刀具图像作为训练数据集；对训练数据集进行矩形框标注得到目标框标注信息，对刀具类别进行标注得到所属类别信息，将目标框标注信息和所属类别信息作为标注数据集；建立目标盾构刀具检测模型，使用训练数据和标注数据集对模型进行训练得到训练后的目标盾构刀具检测模型；将相机固定安装在机械臂的末端，相机通过机械臂的运动接近待检测的盾构刀具并实时采集刀具图像得到待检测刀具的类别与位置。本发明能够有效地提高检测效率，用途广泛。
Description
技术领域
本发明涉及机器视觉领域，尤其涉及一种基于机器视觉的盾构刀具识别与定位检测方法。
背景技术
随着社会经济的快速发展和基础设施建设的需要，为了减少对地面空间资源的占用、降低施工对居民生活的影响，越来越多的工程采取地下施工的方式，如地下轨道交通、穿山隧道、通信电缆隧道、大型输水工程等。而各类隧道工程的建设，常采用盾构法进行施工。盾构刀盘上具有切削刀、滚刀等不同类型刀具，在盾构机掘进过程中，刀具承受了巨大的挤压力、摩擦力、切削力等作用力，盾构刀具在长期恶劣工况下不可避免地存在夹土夹泥、磨损严重等问题，对施工安全和施工效率产生不良影响，需要定期进行清洗、检查及更换。
随着机器人技术的迅速发展，机器人的种类更加多样化，功能更加完善。冗余自由度机械臂或柔性机械臂适合于在盾构刀盘这种非结构化环境下工作。这类机械臂末端携带相机进入盾构刀盘检测，使得对盾构刀具的自动化检测成为可能。
现阶段盾构刀具的检测主要由人工完成，存在工作效率低、工作条件恶劣、有潜在安全隐患等问题，因此通过机器视觉方法对盾构刀具进行自动检测具有重要意义。
发明内容
本发明为了解决背景技术中所述的问题，提出了一种基于机器视觉的盾构刀具识别与定位检测方法。
为了解决上述技术问题，本发明采取的技术方案是：
S1)采集不同类别的盾构刀具图像并进行优化处理，将处理后的所有图像作为盾构刀具数据集；
由于盾构刀盘上的刀具有多种类别，每种类别的刀具采集的图像数量相等以保证不同类别图像数据的均衡，所述的刀具类别包括但不限于切削刀、滚刀等具有不同形态特征的盾构刀具。
具体实施中，将盾构刀具数据集中的图像按照一定的比例划分为训练数据集和测试数据集。由于盾构刀盘上各类刀具分布位置与功能作用互不相同，掘进地质也存在多样性，因此刀具磨损、表面覆泥状况等也存在多样性。为了保证盾构刀具数据集的丰富性，各类刀具都应当广泛采集表面不覆泥、轻度覆泥、中度覆泥、重度覆泥、泥水混合等多种工况下的图像，组成盾构刀具数据集的训练数据集。
S2)对盾构刀具数据集的每张图像中的刀具进行矩形框(bounding box)标注得到目标框标注信息，同时对每张图像的刀具类别进行标注得到所属类别信息(class)，将所有图像对应的目标框标注信息和所属类别信息作为标注数据集；
S3)建立盾构刀具目标检测模型，使用盾构刀具数据集和标注数据集对模型进行训练，得到训练后的盾构刀具目标检测模型；
S4)将相机固定安装在机械臂的末端，相机通过机械臂的运动接近待检测的盾构刀具并实时采集刀具图像。由于盾构施工环境照明条件不理想，存在电磁干扰，同时相机固定安装于自动检测机械末端，工作时存在一定振动等因素，导致检测时实际采集到的图像存在较多噪声。为了减少噪声给检测精度带来的影响，对采集的图像进行滤波去噪处理，将处理后的刀具图像输入到S3)得到的盾构刀具目标检测模型进行处理得到待检测刀具的类别与位置。实现了对刀盘上各类刀具的自动检测识别与定位。
所述的机械臂可以采用冗余自由度机械臂、柔性机械臂，或者采用机器人。本发明方法还能够与自动检测机械结合使用，自动检测机械末端可以携带相机、辅助照明装置、激光器、高压水喷射器等装置，辅助实现刀具清洗、健康状态检测等功能。对于本发明所涉及的盾构刀具检测场景，自动检测机械末端至少需要携带相机、辅助照明装置等设备。
所述的滤波去噪处理具体是利用中值滤波、高斯滤波或双边滤波等方法去除图像中含有的椒盐、高斯等类型噪声。
所述步骤3)具体为：
S3.1)建立盾构刀具检测模型，将盾构刀具数据集的图像输入到盾构刀具检测模型中并采用多尺度融合的方法得到每张图像对应的三个不同尺寸的特征图；
S3.2)采用K-means聚类算法对标注数据集进行维度聚类得到多个不同尺寸大小的先验框(anchor box)，将多个先验框(anchor box)平均分配到三个特征图后再输入到目标检测部分；按照特征图的尺度从大到小排序依次分配尺寸从小到大的先验框；
S3.3)具体实施过程如下：如其中一张特征图的尺寸为m*m，则将输入的图像划分为m*m个单元格，一个已知标注的目标标注框落在一个单元格中，作为输出训练对象。如果图像的目标标注框中心坐标落在某个单元格中，那就由该单元格来预测目标。由于每个单元格都分配了固定数量的先验框，则进一步地由该单元格中与目标标注框面积交并比(IoU)最大的先验框来进行预测。
根据输入的每张特征图及其已知分配的先验框输出每张特征图的预测边界框信息和类别预测结果，预测边界框信息包括预测边界框的中心坐标(x,y)、预测边界框的宽高尺寸(w,h)和预测边界框置信度；根据得到的所有预测结果进行筛选得到最终的预测边界框，具体是：设定置信度阈值，过滤去除预测边界框置信度低于置信度阈值的预测边界框，再对剩余的预测结果采用非极大值抑制(Non-Maximum Supression)的方法计算得到最终的预测边界框。
S3.4)根据最终的预测边界框，采用均方和误差损失函数和二元交叉熵损失函数进行训练，均方和误差损失函数用于中心点和宽高判断，二元交叉熵损失函数(binarycross-entropy loss)用于边界框置信度；类别预测结果包括盾构刀具图像中盾构刀具属于各个刀具类别的概率值，根据类别预测结果采用二元交叉熵损失函数进行训练，最终得到训练后的盾构刀具目标检测模型。
上述几个子步骤具体实施过程如下：
S3.5)目标检测部分根据特征图和其对应的先验框输出对应特征图上的盾构刀具的预测边界框信息。预测边界框信息包含边界框中心相对所在单元格左上角的位置(tx,ty)、边界框宽高相对先验框宽高的相对大小(tw,th)以及边界框置信度t0，再通过下列公式得到每一个预测边界框的实际中心坐标(x,y)、宽高尺寸(w,h)以及置信度(confidence)五个值；在模型训练过程中，损失函数由坐标预测损失函数、置信度损失函数以及类别损失函数构成，中心坐标以及宽高尺寸损失函数采用均方和误差损失函数，置信度损失函数采用二元交叉熵损失函数。
式1中：σ()表示sigmoid函数，c(x)、c(y)表示先验框所在的单元格的x轴坐标值和y轴坐标值，pw和ph分别表示先验框的宽和高。
S3.6)使用先验框来预测盾构刀具的边界框，预测结果还包含各个类别的概率P(Class|Object)，类别的概率由Sigmoid函数计算得到，结果越接近于1，属于某一类的概率越大。训练过程中，类别损失函数采用二元交叉熵损失函数(binary cross-entropyloss)。训练完成后输出盾构刀具检测模型。
在预测阶段，三个尺度特征图使用固定数量的先验框来预测边界框，由于预测出的边界框数量很多，首先根据目标置信度过滤掉低于设定置信度阈值的预测框；然后使用非极大值抑制(Non-Maximum Supression)的方法过滤掉预测同一个目标的边界框，非极大值抑制的具体操作为：按照公式confidence×P(Class|Object)计算每个边界框的类别置信度值并进行排序，把类别置信度最大的边界框加入最终检测结果集合中，计算其余边界框与当前类别置信度最大的边界框之间的预测范围损失值IoU，去除预测范围损失值IoU大于设定阈值的边界框。重复该过程，直至候选的边界框数量为0。
所述步骤3)中，盾构刀具目标检测模型主要由特征提取部分和目标检测部分组成，特征提取部分主要由依次连接的五个残差模块构成，第一个残差模块由一个卷积层和一个残差单元依次连接构成，第二个残差模块由一个卷积层和两个相同的残差单元依次连接构成，第三个残差模块由一个卷积层和八个相同的残差单元依次连接构成，第四个残差模块由一个卷积层和八个相同的残差单元依次连接构成，第五个残差模块由一个卷积层和四个相同的残差单元依次连接构成；网络初始处理单元中的卷积核大小为3*3；每个残差单元是由两个卷积层和一个残差连接层依次连接构成；每个残差单元中的两个卷积层的卷积核大小分别为1*1和3*3，每个残差模块中前置卷积层的卷积核数量与该残差模块中残差单元的后一卷积层卷积核的数量相同，每个残差模块中残差单元的前一卷积层的卷积核数量是该残差模块前置卷积层卷积核数量的一半；目标检测部分包括第一检测支路、第二检测支路和第三检测支路，第一检测支路主要由B单元、A单元和卷积层依次连接构成，第二检测支路和第三检测支路结构相同，均是主要由A单元、上采样层、张量拼接层、B单元、A单元、卷积层依次连接构成，A单元是由一个C单元构成，B单元是由五个C单元构成，第一检测支路的B单元输出端输入到第二检测支路的第一个A单元输入端，第二检测支路的B单元输出端输入到第三检测支路的第一个A单元输入端，第四个残差模块的输出端输入到第二检测支路的张量拼接层，第三个残差模块的输出端输入到第三检测支路的张量拼接层；刀具图像输入到特征提取部分的处理单元，再依次经五个残差模块和第一检测支路输出第一特征图，经第二检测支路和第三检测支路分部输出第二特征图；第四个残差模块的输出端在张量拼接层和第二检测支路来自上采样层的合并后再处理输出第二特征图；第三个残差模块的输出端在张量拼接层和第三检测支路来自上采样层的合并后再处理输出第三特征图。
所述步骤S1)中的优化处理具体是指对盾构刀具数据集中的图像进行均衡与扩充处理；通过对盾构刀具数据集中的图像进行旋转、镜像、明暗度调整、剪裁等操作，对数据集进行扩充。
所述步骤S2)中的目标框标注信息包括矩形框的中心坐标(x,y)、矩形框的宽高尺寸(w,h)。
该方法能够检测出盾构刀具的类别与位置，可以与自动检测机器(尤其是机器人、冗余自由度机械臂或柔性机械臂)结合，辅助实现刀具清洗、健康状态检测等用途。该方法替换了现阶段人工检测的方式，能够有效地提高检测效率，避免了人工检测时的潜在危险。
同时，现阶段采用基于候选区域的目标检测方法主要分两个阶段进行，首先使用启发式方法提取潜在的候选框，然后训练分类器对候选框进行分类，识别框内物体。这类方法检测速度较慢，实时性较差。本发明检测速度快，弥补了基于候选区域目标检测方法中检测速度较慢的问题。
本发明产生如下有益效果：
1)本发明基于神经网络，能够实现对盾构刀盘刀具种类与位置的实时检测；检测速度快，适合于盾构刀具检测作业场景。
2)本发明方便与自动检测机械(尤其是机器人、冗余自由度机械臂或柔性机械臂)结合，辅助实现刀具清洗、健康状态检测等用途。该方法替换了现阶段人工检测的方式，能够有效地提高检测效率，避免了人工检测时的潜在危险。
附图说明
图1是本发明方法的流程图；
图2是模型特征提取部分的网络结构图；
图3是将相机与辅助照明装置固定安装于冗余自由度机械臂末端进行目标检测示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，以下结合附图和具体实施例来对本发明做详细描述，但不作为对本发明的限定。
实施例如下：
如图1所示，本发明实施例描述的实施例方法，包括以下步骤：
S1、使用画幅比接近1:1的工业相机采集盾构刀盘上各类刀具的图像，构建盾构刀具数据集；
S1-1、所述各类刀具包括但不限于切削刀、滚刀等具有不同形态特征的盾构刀具；
S1-2、由于盾构刀盘上各类刀具分布位置与功能作用互不相同，掘进地质也存在多样性，因此其磨损、表面覆泥状况等存在多样性。为了保证盾构刀具数据集的丰富性，应当广泛采集表面不覆泥、轻度覆泥、中度覆泥、重度覆泥、泥水混合等多种工况下的图像，组成盾构刀具数据集。
S2、对盾构刀具数据集中的图像进行均衡与扩充处理，具体包括：
S2-1、由于盾构刀盘上的刀具有多种类别，通过保证训练数据集中每类刀具的图像数量相等或大致相等来实现图像数据均衡；
S2-2、通过对训练数据集中的图像进行旋转、镜像、明暗度调整、剪裁等操作，对数据集进行扩充；
将盾构刀具数据集中的图像按照80％、20％的比例划分为训练数据集与测试数据集，训练数据集与测试数据集中的图像均从盾构刀具数据集中随机选出；
S3、对训练数据集中每张图像包含的刀具进行矩形框标注，并指定刀具所属类别信息，构建标注数据集，具体包括：
S3-1、使用标注软件对训练数据集、测试数据集中每张图像包含的刀具进行矩形框标注，存储每个矩形框的中心坐标(x,y)、每个矩形的宽和高(w,h)，并指定刀具所属类别信息(class)。本实施例优先选用开源标注工具软件LabelImg进行矩形框标注。
S3-2所述标注数据集包含所有存储矩形框中心坐标、长和宽以及类别信息的文件；
S4、使用训练数据集对神经网络进行训练，具体包括：
S4-1、基于Darknet-53网络设计针对盾构刀具检测网络，如图2所示。本发明中涉及的盾构刀具检测网络特征提取部分如表1所示：
表1
S4-2、采用K-means聚类算法对标注数据集中的目标框进行维度聚类，获取9个不同尺寸大小的先验框(anchor box)，以此作为神经网络中9个先验框的尺寸参数；
S4-3、读入盾构刀具图像进入神经网络进行模型训练，在训练过程中，特征检测网络对输入图像进行特征提取，并采用多尺度融合的方式构建3个不同尺度的特征图。将9个先验框平均分配到3个特征图上。由于较小的特征图具有较大的感受野，因此先验框分配规则为：尺度更小的特征图使用更大的先验框；
S4-4、使用先验框来预测盾构刀具的边界框，输出每张特征图的预测边界框信息和类别预测结果，预测边界框信息包括预测边界框的中心坐标(x,y)、预测边界框的宽高尺寸(w,h)和预测边界框置信度。
具体实施中可以根据得到的所有预测结果进行筛选得到最终的预测边界框，具体是：设定置信度阈值，过滤去除预测边界框置信度低于置信度阈值的预测边界框，再对剩余的预测结果采用非极大值抑制(Non-Maximum Supression)的方法计算得到最终的预测边界框；
S4-5、根据最终的预测边界框，采用均方和误差损失函数和二元交叉熵损失函数进行训练，均方和误差损失函数用于中心点和宽高判断，二元交叉熵损失函数(binarycross-entropy loss)用于边界框置信度；类别预测结果包括盾构刀具图像中盾构刀具属于各个刀具类别的概率值，根据类别预测结果采用二元交叉熵损失函数进行训练，最终得到训练后的盾构刀具目标检测模型。
S5、将相机安装于自动检测机械末端，自动检测机器尤其是指机器人、冗余自由度机械臂或柔性机械臂，实时采集盾构刀具图像，并对采集图像进行滤波去噪处理，具体包括：
S5-1、本发明方法能够与自动检测机械结合使用，自动检测机械末端可以携带相机、辅助照明装置、激光器、高压水喷射器等装置，辅助实现刀具清洗、健康状态检测等功能。对于本发明所涉及的盾构刀具检测场景，自动检测机械末端至少需要携带相机、辅助照明光源等设备。所述自动检测机械尤其是指机器人、冗余自由度机械臂或柔性机械臂。图3为将相机与辅助照明装置固定安装于机械臂末端进行目标检测的实施例示意图；
S5-2、由于盾构施工环境照明条件不理想，存在电磁干扰，同时相机固定安装于自动检测机械末端，工作时存在一定振动等因素，导致检测时实际采集到的图像存在较大噪声。为了减少噪声给检测精度带来的影响，对采集的图像进行滤波去噪处理；
S5-3、采用中值滤波去除椒盐噪声，采用高斯滤波去除高斯噪声；
S6、利用训练完成的神经网络对实时采集并滤波去噪后的图像进行检测，对刀盘上各类刀具进行识别与定位，具体包括：
将滤波去噪后的图像送入训练完成的神经网络进行检测，输出检测目标的类别与位置。
本发明所述方法能够检测出盾构刀盘上各类刀具的类别和位置，可以用于盾构刀具的类别与位置检测、辅助自动化机器对刀具进行清洗、健康状态检测等用途。本方法主要包含以下内容：采集实际工况下包含各类盾构刀具的图像，并进行均衡和扩充处理，构建盾构刀具数据集；对数据集中每张图像的刀具部分进行矩形框标注，获取矩形框的坐标，同时指定刀具所属类别；利用数据集图像数据以及标注获得的矩形框坐标和类别数据对神经网络进行训练；利用训练完成的神经网络对盾构刀具进行类别和定位检测。以上所述作为对本发明的优选措施，但不作为对本发明的限制。基于本发明说明书内容所作的等效变换，均在本发明专利保护范围之内。
Claims (6)
1.基于机器视觉的盾构刀具识别与定位检测方法，其特征在于包括以下步骤：
S1)采集不同类别的盾构刀具图像并进行优化处理，将处理后的所有图像作为盾构刀具数据集；
S2)对盾构刀具数据集的每张图像中的刀具进行矩形框(bounding box)标注得到目标框标注信息，同时对每张图像的刀具类别进行标注得到所属类别信息(class)，将所有图像对应的目标框标注信息和所属类别信息作为标注数据集；
S3)建立盾构刀具目标检测模型，使用盾构刀具数据集和标注数据集对模型进行训练，得到训练后的盾构刀具目标检测模型；
S4)将相机固定安装在机械臂的末端，相机通过机械臂的运动接近待检测的盾构刀具并实时采集刀具图像，对采集的图像进行滤波去噪处理，将处理后的刀具图像输入到S3)得到的盾构刀具目标检测模型进行处理得到待检测刀具的类别与位置。
2.根据权利要求1所述的基于机器视觉的盾构刀具识别与定位检测方法，其特征在于：所述步骤3)具体为：
S3.1)建立盾构刀具检测模型，将盾构刀具数据集的图像输入到盾构刀具检测模型中并采用多尺度融合的方法得到每张图像对应的三个不同尺寸的特征图；
S3.2)采用K-means聚类算法对标注数据集进行维度聚类得到多个不同尺寸大小的先验框(anchor box)，将多个先验框(anchor box)平均分配到三个特征图后再输入到目标检测部分；按照特征图的尺度从大到小排序依次分配尺寸从小到大的先验框；
S3.3)一张特征图的尺寸为m*m，将输入的图像划分为m*m个单元格，每个单元格平均分配先验框，由单元格中与目标标注框面积交并比(IoU)最大的先验框进行以下步骤的预测；输出每张特征图的预测边界框信息和类别预测结果，预测边界框信息包括预测边界框的中心坐标(x,y)、预测边界框的宽高尺寸(w,h)和预测边界框置信度；根据得到的所有预测结果进行筛选得到最终的预测边界框，具体是：设定置信度阈值，过滤去除预测边界框置信度低于置信度阈值的预测边界框，再对剩余的预测结果采用非极大值抑制(Non-MaximumSupression)的方法计算得到最终的预测边界框；
S3.4)根据最终的预测边界框，采用均方和误差损失函数和二元交叉熵损失函数进行训练；类别预测结果包括盾构刀具图像中盾构刀具属于各个刀具类别的概率值，根据类别预测结果采用二元交叉熵损失函数进行训练。
3.根据权利要求1所述的基于机器视觉的盾构刀具识别与定位检测方法，其特征在于：所述步骤3)中，盾构刀具目标检测模型主要由特征提取部分和目标检测部分组成，特征提取部分主要由依次连接的五个残差模块构成，第一个残差模块由一个卷积层和一个残差单元依次连接构成，第二个残差模块由一个卷积层和两个相同的残差单元依次连接构成，第三个残差模块由一个卷积层和八个相同的残差单元依次连接构成，第四个残差模块由一个卷积层和八个相同的残差单元依次连接构成，第五个残差模块由一个卷积层和四个相同的残差单元依次连接构成；每个残差单元是由两个卷积层和一个残差连接层依次连接构成；每个残差单元中的两个卷积层的卷积核大小分别为1*1和3*3，每个残差模块中前置卷积层的卷积核数量与该残差模块中残差单元的后一卷积层卷积核的数量相同，每个残差模块中残差单元的前一卷积层的卷积核数量是该残差模块前置卷积层卷积核数量的一半；目标检测部分包括第一检测支路、第二检测支路和第三检测支路，第一检测支路主要由B单元、A单元和卷积层依次连接构成，第二检测支路和第三检测支路结构相同，均是主要由A单元、上采样层、张量拼接层、B单元、A单元、卷积层依次连接构成，A单元是由一个C单元构成，B单元是由五个C单元构成，第一检测支路的B单元输出端输入到第二检测支路的第一个A单元输入端，第二检测支路的B单元输出端输入到第三检测支路的第一个A单元输入端，第四个残差模块的输出端输入到第二检测支路的张量拼接层，第三个残差模块的输出端输入到第三检测支路的张量拼接层；刀具图像输入到特征提取部分的处理单元，再依次经五个残差模块和第一检测支路输出第一特征图，第四个残差模块的输出端在张量拼接层和第二检测支路来自上采样层的合并后再处理输出第二特征图；第三个残差模块的输出端在张量拼接层和第三检测支路来自上采样层的合并后再处理输出第三特征图。
4.根据权利要求1所述的基于机器视觉的盾构刀具识别与定位检测方法，其特征在于：所述步骤S1)中的优化处理具体是指对盾构刀具数据集中的图像进行均衡与扩充处理；通过对盾构刀具数据集中的图像进行旋转、镜像、明暗度调整、剪裁等操作，对数据集进行扩充。
5.根据权利要求1所述的基于机器视觉的盾构刀具识别与定位检测方法，其特征在于：所述步骤S2)中的目标框标注信息包括矩形框的中心坐标(x,y)、矩形框的宽高尺寸(w,h)。
6.根据权利要求1所述的基于机器视觉的盾构刀具识别与定位检测方法，其特征在于：所述的刀具类别包括但不限于切削刀、滚刀。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910435974.5A CN110245689A (zh) | 2019-05-23 | 2019-05-23 | 基于机器视觉的盾构刀具识别与定位检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910435974.5A CN110245689A (zh) | 2019-05-23 | 2019-05-23 | 基于机器视觉的盾构刀具识别与定位检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110245689A true CN110245689A (zh) | 2019-09-17 |
Family
ID=67884852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910435974.5A Pending CN110245689A (zh) | 2019-05-23 | 2019-05-23 | 基于机器视觉的盾构刀具识别与定位检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110245689A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
| CN111178451A (zh) * | 2020-01-02 | 2020-05-19 | 中国民航大学 | 一种基于YOLOv3网络的车牌检测方法 |
| CN111275080A (zh) * | 2020-01-14 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像分类模型训练方法、分类方法及装置 |
| CN111311540A (zh) * | 2020-01-13 | 2020-06-19 | 平安科技（深圳）有限公司 | 车辆定损方法、装置、计算机设备和存储介质 |
| CN111709319A (zh) * | 2020-05-28 | 2020-09-25 | 武汉工程大学 | 一种铁路工机具清点方法及装置 |
| CN112683193A (zh) * | 2020-11-06 | 2021-04-20 | 西安交通大学 | 基于机器视觉的刀具类型判别及几何参数检测方法及系统 |
| CN113090276A (zh) * | 2021-04-21 | 2021-07-09 | 中交天和机械设备制造有限公司 | 盾构机常压换刀刀具检测方法及系统 |
| CN114549647A (zh) * | 2022-04-22 | 2022-05-27 | 成都飞机工业（集团）有限责任公司 | 一种hsk刀柄摆放朝向的检测方法 |
| TWI775059B (zh) * | 2020-03-18 | 2022-08-21 | 百德機械股份有限公司 | 利用演化式模糊類神經網路之刀具磨耗預測系統及其方法 |
| CN115393255A (zh) * | 2022-02-17 | 2022-11-25 | 中科芯集成电路有限公司 | 基于视觉与神经网络的航空杆件自动组装检测装置及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108748149A (zh) * | 2018-06-04 | 2018-11-06 | 上海理工大学 | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 |
| CN109035204A (zh) * | 2018-06-25 | 2018-12-18 | 华南理工大学 | 一种焊缝目标实时检测方法 |
| CN109064461A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习网络的钢轨表面缺陷检测方法 |
| CN109325418A (zh) * | 2018-08-23 | 2019-02-12 | 华南理工大学 | 基于改进YOLOv3的道路交通环境下行人识别方法 |
-
2019
- 2019-05-23 CN CN201910435974.5A patent/CN110245689A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108748149A (zh) * | 2018-06-04 | 2018-11-06 | 上海理工大学 | 一种复杂环境下基于深度学习的无标定机械臂抓取方法 |
| CN109035204A (zh) * | 2018-06-25 | 2018-12-18 | 华南理工大学 | 一种焊缝目标实时检测方法 |
| CN109064461A (zh) * | 2018-08-06 | 2018-12-21 | 长沙理工大学 | 一种基于深度学习网络的钢轨表面缺陷检测方法 |
| CN109325418A (zh) * | 2018-08-23 | 2019-02-12 | 华南理工大学 | 基于改进YOLOv3的道路交通环境下行人识别方法 |
Non-Patent Citations (8)
| Title |
|---|
| JOSEPH, AT EL.: ""YOLOv3: An Incremental Improvement"", 《ARXIV》 * |
| JOSEPH,AT EL.: ""YOLO9000: Better, Faster, Stronger"", 《ARXIV》 * |
| JOSEPH,AT EL.: ""You Only Look Once:Unified, Real-Time Object Detection"", 《ARXIV》 * |
| ZXYHHJS2017: ""深度学习之---yolov,v2,v3详解"", 《CSDN》 * |
| 中国国防工业企业协会: "《2018年地面无人系统大会论文集》", 31 December 2018, 科学技术文献出版社 * |
| 小小小绿叶: ""一文看懂YOLO v3"", 《CSDN》 * |
| 彭芳乐等: "《地下综合管廊规划与建设导论》", 31 March 2018, 同济大学出版社 * |
| 王建明: "《自动线与工业机械手技术》", 31 January 2009, 天津大学出版社 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127457A (zh) * | 2019-12-25 | 2020-05-08 | 上海找钢网信息科技股份有限公司 | 钢筋数目统计模型训练方法、统计方法、装置及设备 |
| CN111178451A (zh) * | 2020-01-02 | 2020-05-19 | 中国民航大学 | 一种基于YOLOv3网络的车牌检测方法 |
| CN111311540A (zh) * | 2020-01-13 | 2020-06-19 | 平安科技（深圳）有限公司 | 车辆定损方法、装置、计算机设备和存储介质 |
| CN111275080A (zh) * | 2020-01-14 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像分类模型训练方法、分类方法及装置 |
| CN111275080B (zh) * | 2020-01-14 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 基于人工智能的图像分类模型训练方法、分类方法及装置 |
| TWI775059B (zh) * | 2020-03-18 | 2022-08-21 | 百德機械股份有限公司 | 利用演化式模糊類神經網路之刀具磨耗預測系統及其方法 |
| CN111709319A (zh) * | 2020-05-28 | 2020-09-25 | 武汉工程大学 | 一种铁路工机具清点方法及装置 |
| CN112683193A (zh) * | 2020-11-06 | 2021-04-20 | 西安交通大学 | 基于机器视觉的刀具类型判别及几何参数检测方法及系统 |
| CN113090276B (zh) * | 2021-04-21 | 2021-12-03 | 中交天和机械设备制造有限公司 | 盾构机常压换刀刀具检测方法及系统 |
| CN113090276A (zh) * | 2021-04-21 | 2021-07-09 | 中交天和机械设备制造有限公司 | 盾构机常压换刀刀具检测方法及系统 |
| CN115393255A (zh) * | 2022-02-17 | 2022-11-25 | 中科芯集成电路有限公司 | 基于视觉与神经网络的航空杆件自动组装检测装置及方法 |
| CN114549647A (zh) * | 2022-04-22 | 2022-05-27 | 成都飞机工业（集团）有限责任公司 | 一种hsk刀柄摆放朝向的检测方法 |
| CN114549647B (zh) * | 2022-04-22 | 2022-08-12 | 成都飞机工业（集团）有限责任公司 | 一种hsk刀柄摆放朝向的检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245689A (zh) | 基于机器视觉的盾构刀具识别与定位检测方法 | |
| CN111080622B (zh) | 神经网络训练方法、工件表面缺陷分类与检测方法及装置 | |
| CN103870845B (zh) | 点云聚类去噪过程中新的k值优化方法 | |
| Putra et al. | Convolutional neural network for person and car detection using yolo framework | |
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN109711410A (zh) | 一种三维物体快速分割和识别方法、装置及系统 | |
| CN106405040A (zh) | 一种基于无人设备的水质巡检、污染物溯源系统及其方法 | |
| Fernandes et al. | Pavement pathologies classification using graph-based features | |
| CN110348435B (zh) | 一种基于区域候选网络的目标检测方法及系统 | |
| CN111524117A (zh) | 一种基于特征金字塔网络的隧道表面缺陷检测方法 | |
| CN105701798A (zh) | 柱状物体的点云提取方法及装置 | |
| CN111666944A (zh) | 一种红外弱小目标检测方法及装置 | |
| CN107944472A (zh) | 一种基于迁移学习的空域运行态势计算方法 | |
| CN108414690A (zh) | 一种参数确定方法及其相关设备 | |
| CN107730553A (zh) | 一种基于伪真值搜寻法的弱监督物体检测方法 | |
| Liu et al. | Improved YOLOX-S abnormal condition detection for power transmission line corridors | |
| CN116403124A (zh) | 一种基于DResNet-PointNet的三维点云围岩的结构面智能识别方法 | |
| CN106446784A (zh) | 一种图像检测方法及装置 | |
| Nazarov et al. | Classification of defects in welds using a convolution neural network | |
| CN104715231B (zh) | 一种在交通路口监控危险品运输车辆的方法及装置 | |
| CN116486240A (zh) | 图像识别算法在输电线路无人机智能巡检方法上的应用 | |
| CN110135423A (zh) | 文本识别网络的训练方法和光学字符识别方法 | |
| Zhang et al. | CNet: A Novel Seabed Coral Reef Image Segmentation Approach Based on Deep Learning | |
| CN111272764B (zh) | 大型智能临时平台非接触图像识别移动管控系统及方法 | |
| Ashraf et al. | Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190917 |
|
| RJ01 | Rejection of invention patent application after publication |