CN107563446B - 一种微操作系统目标检测方法 - Google Patents

Abstract

本发明公开了一种微操作系统目标检测方法，包括：使用深度残差卷积神经网络对样本图像进行特征提取，得到样本特征图；使用区域建议网络对样本特征图进行卷积操作，得到样本目标候选框；使用在线困难样本挖掘方法对样本目标候选框进行筛选，得到新的样本目标候选框，将样本特征图和新的样本目标候选框作为全连接分类网络的训练样本，完成全连接分类网络训练；对待识别图像使用深度残差卷积神经网络得到特征图，结合区域建议网络得到的目标候选框，经过感兴趣区域池化层和训练好的全连接分类网络，得到目标识别结果。本发明应用于微操作系统中的目标检测，能够有效地定位和识别各个物体，同时保证了准确率和实时性的要求。

Description

一种微操作系统目标检测方法

技术领域

本发明属于计算机视觉和深度学习技术领域，更具体地，涉及一种微操作系统目标检测方法。

背景技术

微装配或微操作系统是人们探索微观世界不可或缺的重要工具，在微零件装配、显微外科手术、高精度光学器件制造、微电子集成电路制造等领域有广泛的应用。微操作系统一般由显微视觉子系统、控制子系统、微操作执行器子系统组成，其中控制子系统主要负责微操作执行器的运动、目标物件的夹取等，而显微视觉子系统通过非接触的方式获取微操作环境信息，例如相关元件或目标区域的识别，以及位置信息。一般微操作系统中目标检测方法采用传统的基于SVM(支持向量机)方法，先对训练图片样本进行目标分割，对待检测目标进行定位，然后再使用SVM进行分类。其中，图像分割的效果极大程度地影响着最后识别的精度。微操作系统中，由于微操作环境的尺寸和微操作任务的需求，不可避免地会出现目标部件受遮挡，或者目标部件发生旋转的情况，传统方法在这种情况下，不能很好的进行目标识别。

由此可见，现有技术存在网络性能在正负样本数量不均匀情况会下降、对于部分受遮挡目标以及不同姿态目标不能有效识别且识别实时性差的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种微操作系统目标检测方法，由此解决现有技术存在网络性能在正负样本数量不均匀情况会下降、对于部分受遮挡目标以及不同姿态目标不能有效识别且识别实时性差的技术问题。

为实现上述目的，本发明提供了一种微操作系统目标检测方法，包括：

(1)使用深度残差卷积神经网络对样本图像进行特征提取，得到样本特征图；

(2)使用区域建议网络对样本特征图进行卷积操作，得到样本目标候选框；

(3)使用在线困难样本挖掘方法对样本目标候选框进行筛选，得到新的样本目标候选框，将样本特征图和新的样本目标候选框作为全连接分类网络的训练样本，经过迭代训练，更新全连接分类网络参数，得到训练好的全连接分类网络；

(4)对待识别图像使用深度残差卷积神经网络得到特征图，结合区域建议网络得到的目标候选框，经过感兴趣区域池化层和训练好的全连接分类网络，得到目标识别结果。

进一步的，步骤(2)包括：

使用区域建议网络的卷积核对样本特征图进行卷积，得到样本候选框；然后接区域建议网络中的两个并行的全连接层，一个全连接层用于判断样本候选框是否为目标，当样本候选框是目标时，另一个全连接层用于输出坐标修正量对样本候选框的位置坐标进行调整，对于调整后的样本候选框使用非极大值抑制，去除掉重合程度过大的样本候选框，得到样本目标候选框。

进一步的，步骤(3)的具体实现方式为：

使用在线困难样本挖掘方法对样本目标候选框进行筛选，选出误差大于阈值的样本目标候选框作为新的样本目标候选框；将样本特征图和新的样本目标候选框作为训练样本，经过感兴趣区域池化层处理，输入到全连接分类网络，再次进行目标分类和目标位置调整，经过此步骤多次迭代训练，更新全连接分类网络参数，目标位置调整量逐渐变小，达到设定要求，得到训练好的全连接分类网络。

进一步的，步骤(4)的具体实现方式为：

使用深度残差卷积神经网络对待识别图像进行特征提取，得到特征图，对特征图使用区域建议网络，得到目标候选框；特征图和目标候选框经过感兴趣区域池化层，输入到训练好的全连接分类网络，进行目标识别，得到待识别图像的目标候选框作为微操作系统目标识别结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明应用于微操作系统中的目标检测，能够有效地定位和识别各个物体，同时保证了准确率和实时性的要求。本发明相比原始Faster RCNN方法，通过引入深度残差卷积神经网络和在线困难样本挖掘(OHEM)方法，有效地防止了Faster RCNN在正负样本数量不均匀情况引起的网络性能下降的问题。同时，本发明相比传统的SVM(支持向量机)方法，既能够保证有效地识别部分受遮挡和不同姿态的目标，又提高了检测速度，简化了检测流程。

(2)本发明使用深度残差网络具有高性能的分类能力，从而提高了网络的特征提取性能，感兴趣区域池化层处理可以将不同尺寸的特征图进行池化后得到相同尺寸的特征向量，从而提高了检测的准确率。

附图说明

图1是本发明实施例提供的一种微操作系统目标检测方法流程图；

图2为本发明实施例提供的区域建议网络RPN结构图；

图3为本发明实施例提供的在线困难样本挖掘方法实施示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种微操作系统目标检测方法流程图，包括：

(1)使用深度残差卷积神经网络对样本图像进行特征提取，得到样本特征图；

(2)使用区域建议网络的卷积核对样本特征图进行卷积，得到样本候选框；然后接区域建议网络中的两个并行的全连接层，一个全连接层用于判断样本候选框是否为目标，当样本候选框是目标时，另一个全连接层用于输出坐标修正量对样本候选框的位置坐标进行调整，对于调整后的样本候选框使用非极大值抑制，去除掉重合程度过大的样本候选框，得到样本目标候选框；

(3)使用在线困难样本挖掘方法对样本目标候选框进行筛选，选出误差大于阈值的样本目标候选框作为新的样本目标候选框；将样本特征图和新的样本目标候选框作为训练样本，经过感兴趣区域池化层处理，输入到全连接分类网络，再次进行目标分类和目标位置调整，经过此步骤多次迭代训练，更新全连接分类网络参数，目标位置调整量逐渐变小，达到设定要求，得到训练好的全连接分类网络。

(4)使用深度残差卷积神经网络对待识别图像进行特征提取，得到特征图，对特征图使用区域建议网络，得到目标候选框；特征图和目标候选框经过感兴趣区域池化层，输入到训练好的全连接分类网络，进行目标识别，得到待识别图像的目标候选框作为微操作系统目标识别结果。

本发明实施例优选的，设定要求为训练好的全连接分类网络的分类准确率大于等于89％。

本发明实施例提供的区域建议网络RPN结构如图2所示。具体为：

对样本特征图使用卷积核(滑动窗口)进行卷积，每滑动一次就得到一个特征向量，同时根据卷积核当前位置的中心点A映射到样本特征图的对应点B，以B为中心在原图上取9种不同尺寸的样本候选框以实现多尺度识别。然后接两个并行的全连接层分别用于分类和边框回归，即预测选出的样本候选框区域是否是目标，以及样本候选框的位置坐标调整量，同时对于预测的样本候选框使用非极大值抑制方法，去除掉重合程度过大的样本候选框，得到样本目标候选框。

本发明实施例提供的在线困难样本挖掘方法实施如图3所示，具体为：

结合经过残差网络得到的样本特征图和区域建议网络得到的样本目标候选框，经过感兴趣区域池化层(ROI池化层)处理，得到ROI池化后的特征图，输入到全连接分类网络，然后计算分类误差和边框回归误差，使用在线困难样本挖掘方法对样本目标候选框进行筛选，选出那些误差高的样本目标候选框作为新的样本目标候选框，不断进行迭代训练，更新全连接分类网络参数，完成全连接分类网络训练，从而实现在线困难样本挖掘，有效地防止了正负样本不均匀引起的模型性能下降问题。

实施例1

对机械手末端的待识别图像使用深度残差卷积神经网络得到特征图，结合区域建议网络得到的目标样本候选框，经过感兴趣区域池化层和训练好的全连接分类网络，进行目标识别，得到机械手末端的待识别图像的目标候选框作为微操作系统目标识别结果。

实施例2

对真空夹持器的待识别图像使用深度残差卷积神经网络得到特征图，结合区域建议网络得到的目标样本候选框，经过感兴趣区域池化层和训练好的全连接分类网络，进行目标识别，得到真空夹持器的待识别图像的目标候选框作为微操作系统目标识别结果。

实施例3

对柱腔的待识别图像使用深度残差卷积神经网络得到特征图，结合区域建议网络得到的目标样本候选框，经过感兴趣区域池化层和训练好的全连接分类网络，进行目标识别，得到柱腔的待识别图像的目标候选框作为微操作系统目标识别结果。

实施例4

对靶球的待识别图像使用深度残差卷积神经网络得到特征图，结合区域建议网络得到的目标样本候选框，经过感兴趣区域池化层和训练好的全连接分类网络，进行目标识别，得到靶球的待识别图像的目标候选框作为微操作系统目标识别结果。

在微操作元件的识别检测中，本发明实施例的精度为：机械手末端识别率为97.91％、真空夹持器识别率为97.87％、柱腔识别率为95.84％、靶球识别率为89.79％。由此可见，本发明应用于微操作系统中的目标检测，能够有效地定位和识别各个物体，同时保证了准确率和实时性的要求。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种微操作系统目标检测方法，其特征在于，包括：

(1)使用深度残差卷积神经网络对样本图像进行特征提取，得到样本特征图；

(2)使用区域建议网络的卷积核对样本特征图进行卷积，得到样本候选框；然后接区域建议网络中的两个并行的全连接层，一个全连接层用于判断样本候选框是否为目标，当样本候选框是目标时，另一个全连接层用于输出坐标修正量对样本候选框的位置坐标进行调整，对于调整后的样本候选框使用非极大值抑制，去除掉重合程度过大的样本候选框，得到样本目标候选框；

(3)使用在线困难样本挖掘方法对样本目标候选框进行筛选，得到新的样本目标候选框，将样本特征图和新的样本目标候选框作为全连接分类网络的训练样本，经过迭代训练，更新全连接分类网络参数，得到训练好的全连接分类网络；

(4)对待识别图像使用深度残差卷积神经网络得到特征图，结合区域建议网络得到的目标候选框，经过感兴趣区域池化层和训练好的全连接分类网络，得到目标识别结果。

2.如权利要求1所述的一种微操作系统目标检测方法，其特征在于，所述步骤(3)的具体实现方式为：

使用在线困难样本挖掘方法对样本目标候选框进行筛选，选出误差大于阈值的样本目标候选框作为新的样本目标候选框；将样本特征图和新的样本目标候选框作为训练样本，经过感兴趣区域池化层处理，输入到全连接分类网络，再次进行目标分类和目标位置调整，经过此步骤多次迭代训练，更新全连接分类网络参数，目标位置调整量逐渐变小，达到设定要求，得到训练好的全连接分类网络。

3.如权利要求1所述的一种微操作系统目标检测方法，其特征在于，所述步骤(4)的具体实现方式为：

使用深度残差卷积神经网络对待识别图像进行特征提取，得到特征图，对特征图使用区域建议网络，得到目标候选框；特征图和目标候选框经过感兴趣区域池化层，输入到训练好的全连接分类网络，进行目标识别，得到待识别图像的目标候选框作为微操作系统目标识别结果。

Images