CN110956656A - 一种基于深度目标检测的纺锤定位方法 - Google Patents

Abstract

本发明公开了一种基于深度目标检测的纺锤定位方法，包括：获取包含纺锤的RGB图像；采用深度信息估计方法，获取RGB图像的纺锤深度信息；采用关键点检测方法，获取RGB图像的纺锤首尾端点；根据纺锤深度信息和纺锤首尾端点的坐标，计算纺锤二维旋转角度和垂直角度信息，进而得到纺锤的空间位置信息。本发明对RGB图像中纺锤的深度信息进行检测，以摆脱对深度摄像机的依赖；同时对图像中的纺锤进行关键点与类别检测，用以辅助纺锤空间位置信息的计算；同时采用多结果输出，以针对结果对网络结构进行调整以及训练，以方便及时发现问题所在，最终得到一种基于神经网络的针对纺锤的高效且精确的定位方法。

Description

一种基于深度目标检测的纺锤定位方法

技术领域

本发明涉及姿态估计技术领域，具体涉及一种基于深度目标检测的纺锤定位方法。

背景技术

作为大部分衣物的原材料纱线长居我们生活中但被我们所不注意，但其制作其实需要较为复杂的流程一般为分梳、染色、脱水、烘干、和绒、梳绒、细纱、络筒、并线、倍捻、包装。其中大部分流程都已经流水线化、自动化，但仍旧离不开人力支持。纱线生产车间具有很高的湿度，在加上机器运行时所产生的热量，使其造成了一种闷热的环境，对工人的身心健康有着很大的影响。以细纱到络筒为例，在机器将细纱缠绕在纺锤上之后，需要人工将成框的纺锤搬运，并分类逐个摆放在络筒机上进行之后的操作。

现有减少人力成本的方法多采用对现有络筒机进行改进，或提出新型络筒机对老式络筒机进行置换；但这些方法对于现在依旧使用传统络筒机的工厂来说无疑是一个非常大的开销。

此外现有减少人力成本的方法还有基于机器视觉的改进方法，人工对需要抓取得物体提前进行建模，而后通过深度相机获取大量的RGBD图像(彩色图像与深度图像)，通过姿态估计方法对物体的空间以及角度进行定位，从而对其进行抓取。

目前基于姿态估计的实现方法主要有以下两种：

1、深度学习3D姿态估计方法：

深度学习3D姿态估计方法属于端到端使用一个神经网络进行预测即可以出现结果的方法，其主要使用RGBD图像作为输入，在使用之前需要采集大量相关物体的RGBD图像，同时人工对其空间坐标进行标注，使用这些标注数据对设计好的模型进行训练，而后得到可以使用的姿态估计模型；在使用时向训练好的模型输入RGBD图像，该模型输出图像中待抓取物体的空间坐标以及角度。

2、多步估计方法：

多步估计方法与深度学习3D姿态估计方法不同，其主要使用多种技术，大多使用RGBD图像进行预测。其步骤如下：人工建立待抓取物体的三维模型，使用深度相机获取RGBD图像，通过目标检测或图像分割的方法将待抓取物体的区域在图像中划定，而后将深度图像中对应该物体的区域进行提取，即该物体的深度信息；而后通过特征点匹配方法，将提取到的深度信息与已经建立的待抓取物体的模型进行匹配，从而获得其空间角度信息，通过事先的空间位置标定和获取的物体现存的角度最终获得物体完整空间坐标以及角度。

虽然关于姿态估计已经有了大量的方法，但依旧存在着种种问题：

1、硬件成本昂贵，上述两种方法在实际使用时都依赖深度摄像机，且基于深度学习的方法对于GPU也有着较高的要求，否则实时性将无法达标；

2、精度与效率低，基于深度学习的姿态估计方法受环境和物体摆放位置影响，虽然在环境固定时其精度较高，但一旦环境发生改变会使检测精度降低，如果提高精度、提高网络复杂程度会造成效率的大幅下降；多步估计方法虽然对环境的依赖更加小，但是其精度往往没有基于深度学习的方法高。

发明内容

针对上述硬件成本昂贵、依赖深度摄像机以及精度与效率低问题，本发明提供及一种基于深度目标检测的纺锤定位方法。

本发明公开了一种基于深度目标检测的纺锤定位方法，包括：

步骤1、获取包含纺锤的RGB图像；

步骤2、采用深度信息估计方法，获取所述RGB图像的纺锤深度信息；

步骤3、采用关键点检测方法，获取所述RGB图像的纺锤首尾端点；

步骤4、根据所述纺锤深度信息和所述纺锤首尾端点的坐标，计算纺锤二维旋转角度和垂直角度信息，进而得到纺锤的空间位置信息。

作为本发明的进一步改进，所述步骤2～步骤4在训练后的神经网络模型中进行。

作为本发明的进一步改进，所述神经网络模型的训练方法，包括：

拍摄包含纺锤的深度图像和彩色图像；

对彩色图像进行数据标注，所需标注的数据包括纺锤首尾端点、纺锤四周端点和纺锤类别；

根据标注好的纺锤首尾端点和纺锤的深度图像，计算纺锤二维旋转角度和垂直角度信息，进而得到纺锤的空间位置信息；

对纺锤的彩色图像、深度图像、空间位置信息、纺锤四周端点和纺锤首尾端点进行训练。

作为本发明的进一步改进，在所述神经网络模型的训练过程中，引入深度信息预测损失函数、关键点预测损失函数、空间信息预测损失函数和分类损失函数进行约束。

作为本发明的进一步改进，所述神经网络模型为一种端到端的模型，包括：简化模型和正常模型；

所述简化模型输入包含纺锤的RGB图像，输出纺锤的空间位置信息和类别；

所述正常模型输入包含纺锤的RGB图像，输出纺锤的空间位置信息、纺锤四周端点、纺锤首尾端点和类别。

作为本发明的进一步改进，通过所述简化模型实施步骤2～步骤4；

当预测结果出现错误后，通过所述正常模型进行复检修改。

作为本发明的进一步改进，所述正常模型进行复检修改的方法，包括：

将出现错误的RGB图像输入到所述正常模型中；

所述正常模型输出出现错误的RGB图像的空间位置信息、纺锤四周端点、纺锤首尾端点和类别；

比对模型预测的各项结果与真实值，找到出现错误的数据；

基于错误的数据来调节对应参数，对所述神经网络模型进行重新训练。

与现有技术相比，本发明的有益效果为：

本发明对RGB图像中纺锤的深度信息进行检测，以摆脱对深度摄像机的依赖；同时对图像中的纺锤进行关键点与类别检测，用以辅助纺锤空间位置信息的计算；同时采用多结果输出，以针对结果对网络结构进行调整以及训练，以方便及时发现问题所在，最终得到一种基于神经网络的针对纺锤的高效且精确的定位方法。

附图说明

图1为本发明一种实施例公开的基于深度目标检测的纺锤定位方法的流程图；图2为本发明一种实施例公开的神经网络模型的结构示意图；

图3为本发明一种实施例公开的纺锤的首尾端点和四周端点的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

通过对纺锤图像进行分析，其结构均匀、有固定的头尾，不同种类的纺锤结构大致类似，因此想要得到纺锤的空间信息，不需要使用复杂的神经网络对其姿态估计。针对得到纺锤空间信息的目的；如图1所示，本发明提供一种基于深度目标检测的纺锤定位方法，包括：

S1、获取包含纺锤的RGB图像；

S2、采用深度信息估计方法，获取RGB图像的纺锤深度信息；

S3、采用关键点检测方法，获取RGB图像的纺锤首尾端点；

S4、根据纺锤深度信息和纺锤首尾端点的坐标，计算纺锤二维旋转角度和垂直角度信息，进而得到纺锤的空间位置信息。

其中：

为了让检测速度更快，本发明设计了一种端到端的神经网络模型，并通过对神经网络模型进行训练，使训练后的神经网络模型可直接实现上述S2～S4。

如图2所示，本发明的神经网络模型输入为彩色图像，其结构主体使用encode-decode结构先对图像进行下采样让其学习到足够的语义信息后对其进行上采样，对其深度信息进行还原同时采用类似特征金字塔结构将前后两方面信息进行结合，以保证模型预测的精准度。同时使用基础特征和高级特征结合对纺锤两端、四周位置坐标与纺锤空间信息进行预测。

神经网络模型包括：简化模型和正常模型；简化模型输入包含纺锤的RGB图像，输出纺锤的空间位置信息和类别；正常模型输入包含纺锤的RGB图像，输出纺锤的空间位置信息、纺锤四周端点、纺锤首尾端点和类别。

本发明神经网络模型的训练方法，包括：

拍摄包含纺锤的深度图像和彩色图像；

对彩色图像进行数据标注，所需标注的数据包括纺锤首尾端点、纺锤四周端点和纺锤类别，如图3所示；

根据标注好的纺锤首尾端点和纺锤的深度图像，计算纺锤二维旋转角度和垂直角度信息，进而得到纺锤的空间位置信息；

对纺锤的彩色图像、深度图像、空间位置信息、纺锤四周端点和纺锤首尾端点进行训练。

其中：

在神经网络模型的训练过程中，引入深度信息预测损失函数、关键点预测损失函数、空间信息预测损失函数和分类损失函数进行约束；其中，

(1)深度信息预测损失函数

该损失函数主要目的为让模型的该阶段输出结果为纺锤图像对应的深度信息图像，用于约束得到的纺锤空间信息使用变得更加准确，同时在出现错误时方便校验。采用平方和损失函数：

式中：

y_depth为深度摄像机拍摄的真实图像深度；

y_depth'为模型预测的图像深度。

(2)关键点预测损失函数

本发明采取由上至下的关键点检测方法，即以检测单个纺锤的检测框作为约束，而后检测纺锤四周端点和首尾关键点。

此部分损失函数由两部分构成：

1)平方和损失函数

用于检测纺锤两端和四周端点的二维平面坐标

式中：

y_point为图像人为标注的纺锤两端点和四周点二维坐标；

y_point'为模型预测的纺锤两端点和四周点二维坐标。

2)逻辑斯特损失函数

用于定位纺锤的中心点坐标，辅助纺锤两端点和四周端点坐标的检测

L_xy＝ylog(σ(σ(y_xy)-σ(y_xy')))+(1-y)log(1-σ(σ(y_xy)-σ(y_xy')))

式中：

y_xy为纺锤真实的中心坐标，即通过四周端点和首尾端点计算得到；

y_xy'为模型预测出的纺锤的中心坐标。

(3)空间信息预测损失函数

纺锤空间信息包括纺锤xyz三维坐标，纺锤旋转角度angle

空间信息预测损失函数采用平方和损失函数

式中：

y_msg为计算出的真实的纺锤空间信息；

y_msg'为模型预测的纺锤的空间信息。

(4)分类损失函数

纺锤需要根据其颜色对其进行分类，采用Focal损失函数以应对类别不均衡问题公式如下所示：

L_class＝-α(1-y')^γylogy'-(1-α)y'^γ(1-y)log(1-y')

式中：

α＝0.25，γ＝2其存在的意义为调节正负样本的平衡。

纺锤根据其颜色进行分类，因为每个框里面纺锤的数量以及颜色是不确定的，所以会造成很明显的类别不平衡现象，使用Focal损失函数可以有效的对其影响进行减缓。

实施例：

本发明的神经网络模型在使用时，选择简化模型实施S2～S4，在进行定位的过程中不定期的对预测结果进行抽样检查，若预测结果错误，则对模型进行复检修改。

本发明通过正常模型进行复检修改，包括：

将出现错误的RGB图像输入到正常模型中；

正常模型输出出现错误的RGB图像的空间位置信息、纺锤四周端点、纺锤首尾端点和类别；

比对模型预测的各项结果与真实值，找到出现错误的数据；

基于错误的数据来调节对应参数，对神经网络模型进行重新训练。

本发明的优点为：

本发明针对纺锤提出了一种用于定位的神经网络模型，其不仅仅能提供纺锤的空间信息，同时还可以根据纺锤的彩色图像生成其深度图像、首尾端点、四周端点。同时采用深度图像、首尾端点、四周端点这三个损失函数在模型的训练纺锤空间位置信息的过程中对其进行约束，使其变得更加精准；

本发明同时提出一种对预测结果错误进行复查的方法，当纺锤空间信息预测出现错误时，通过未简化模型对该图像的全部信息进行预测，查看错误以便捷的找到错误点，以便对模型或数据进行修改。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度目标检测的纺锤定位方法，其特征在于，包括：

步骤1、获取包含纺锤的RGB图像；

步骤2、采用深度信息估计方法，获取所述RGB图像的纺锤深度信息；

步骤3、采用关键点检测方法，获取所述RGB图像的纺锤首尾端点；

步骤4、根据所述纺锤深度信息和所述纺锤首尾端点的坐标，计算纺锤二维旋转角度和垂直角度信息，进而得到纺锤的空间位置信息。

2.如权利要求1所述的纺锤定位方法，其特征在于，所述步骤2～步骤4在训练后的神经网络模型中进行。

3.如权利要求2所述的纺锤定位方法，其特征在于，所述神经网络模型的训练方法，包括：

拍摄包含纺锤的深度图像和彩色图像；

对彩色图像进行数据标注，所需标注的数据包括纺锤首尾端点、纺锤四周端点和纺锤类别；

根据标注好的纺锤首尾端点和纺锤的深度图像，计算纺锤二维旋转角度和垂直角度信息，进而得到纺锤的空间位置信息；

对纺锤的彩色图像、深度图像、空间位置信息、纺锤四周端点和纺锤首尾端点进行训练。

4.如权利要求3所述的纺锤定位方法，其特征在于，在所述神经网络模型的训练过程中，引入深度信息预测损失函数、关键点预测损失函数、空间信息预测损失函数和分类损失函数进行约束。

5.如权利要求3所述的纺锤定位方法，其特征在于，所述神经网络模型为一种端到端的模型，包括：简化模型和正常模型；

所述简化模型输入包含纺锤的RGB图像，输出纺锤的空间位置信息和类别；

所述正常模型输入包含纺锤的RGB图像，输出纺锤的空间位置信息、纺锤四周端点、纺锤首尾端点和类别。

6.如权利要求5所述的纺锤定位方法，其特征在于，通过所述简化模型实施步骤2～步骤4；

当预测结果出现错误后，通过所述正常模型进行复检修改。

7.如权利要求6所述的纺锤定位方法，其特征在于，所述正常模型进行复检修改的方法，包括：

将出现错误的RGB图像输入到所述正常模型中；

所述正常模型输出出现错误的RGB图像的空间位置信息、纺锤四周端点、纺锤首尾端点和类别；

比对模型预测的各项结果与真实值，找到出现错误的数据；

基于错误的数据来调节对应参数，对所述神经网络模型进行重新训练。

Images