CN113723475A - 一种基于视觉的机器人智能理鞋系统设计与实现方法 - Google Patents

Abstract

本发明公开了一种基于视觉的机器人智能理鞋系统设计与实现方法，包括步骤：获取目标图像；所述目标图像中的目标包括鞋子和鞋架；根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；根据所有所述鞋子的图像，确定配对的鞋子；根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。本申请通过确定目标图像中配对的鞋子，并根据目标图像确定鞋子的位姿和鞋架的位姿，将配对的鞋子放入鞋架，解决了鞋子乱摆放的问题。

Description

一种基于视觉的机器人智能理鞋系统设计与实现方法

技术领域

本发明涉及理鞋技术领域，尤其涉及的是一种基于视觉的机器人智能理鞋系统设计与实现方法。

背景技术

随着当下人民生活水平的日益提升，人们对家居环境的品质要求也随之水涨船高。家居环境所能给人们带来的便捷与舒适成为生活中必不可少的要素，但是有些问题却仍然没有得到解决，其中之一就是鞋子脏、乱的问题。现有技术中，普通鞋柜里的鞋子常常随意摆放，甚至随意堆放至门口，脏乱问题明显。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于视觉的机器人智能理鞋系统设计与实现方法，旨在解决现有技术中鞋子乱摆放的问题。

本发明解决技术问题所采用的技术方案如下：

一种基于视觉的机器人智能理鞋系统设计与实现方法，其中，包括步骤：

获取目标图像；所述目标图像中的目标包括鞋子和鞋架；

根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；

根据所有所述鞋子的图像，确定配对的鞋子；

根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。

所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，包括：

将所述目标图像输入训练好的识别网络，通过所述训练好的识别网络得到所述目标图像中所述目标的类别和所述目标的掩码；其中，所述目标的类别包括鞋子和鞋架，所述目标的掩码包括：鞋子的掩码和鞋架的掩码；

针对每只鞋子，根据所述目标图像以及该鞋子的掩码，确定该鞋子的位姿；

根据目标图像以及所述鞋架的掩码，确定所述鞋架的位姿；

针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像。

所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述目标图像为深度图像；所述鞋子的掩码包括本体掩码和开口掩码；所述鞋子的位姿包括鞋子的位置信息和鞋子的方向信息；所述针对每只鞋子，根据所述目标图像以及该鞋子的边框，确定该鞋子的位姿，包括：

根据所述本体掩码，确定所述本体掩码对应的本体边框和本体中心点；其中，所述本体边框为鞋子的最小外接矩形框；

针对每只鞋子，根据所述目标图像和该鞋子的本体中心点，确定该鞋子的位置信息；

根据所述开口掩码，确定所述开口掩码对应的开口中心点；

针对每个本体边框，根据该本体边框和所有开口中心点，确定该本体边框对应的开口中心点；

针对每只鞋子，根据该鞋子的本体边框的中心点和该鞋子的本体边框对应的开口中心点，确定该鞋子的方向信息。

所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像，包括：

针对每只鞋子，根据该鞋子的本体掩码对应的本体边框以及该鞋子的本体边框对应的开口中心点，对所述目标图像进行旋转，得到该鞋子的旋转图像；其中，该鞋子的旋转图像中该鞋子竖直向上；

对该鞋子的旋转图像进行裁剪，得到该鞋子的图像。

所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述根据所有所述鞋子的图像，确定配对的鞋子，包括：

针对每个鞋子的图像，将该鞋子的图像输入训练好的特征提取网络，通过所述训练好的特征提取网络得到该鞋子的特征向量；

对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子。

所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子，包括：

根据任意两个鞋子的特征向量，确定两个鞋子的余弦相似度；

当两个鞋子的余弦相似度满足预设要求时，将两个鞋子作为配对的鞋子。

所述的基于视觉的机器人智能理鞋系统设计与实现方法，其中，所述根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架，包括：

根据所述鞋架的位姿，确定所述鞋架的目标位姿；其中，所述目标位姿为所述鞋架上放入所述配对的鞋子的位姿；

针对所述配对的鞋子每只鞋子，根据该鞋子的位姿，抓取该鞋子，并根据所述目标位姿，将该鞋子放入所述鞋架。

一种基于视觉的机器人智能理鞋系统，包括：依次连接的摄像头、识别系统以及机器人；其中，所述机器人上设置有抓取鞋子的机械手；

所述摄像头，用于获取目标图像，并发送至所述识别系统；所述目标图像中的目标包括鞋子和鞋架；

所述识别系统，用于接收所述目标图像，并根据所述目标图像，确定所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，且根据所有所述鞋子的图像，确定配对的鞋子；

所述机器人，用于根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

有益效果：本申请通过确定目标图像中配对的鞋子，并根据目标图像确定鞋子的位姿和鞋架的位姿，将配对的鞋子放入鞋架，解决了鞋子乱摆放的问题。

附图说明

图1是本发明中理鞋方法的流程图。

图2是本发明中Mask R-CNN识别网络的结构图。

图3是本发明中鞋子标注效果图。

图4是本发明中鞋架标注效果图。

图5是本发明中数据增广示意图。

图6是本发明中目标的识别结果示意图。

图7是本发明中最小外接矩形框的第一示意图。

图8是本发明中最小外接矩形框的第二示意图。

图9是本发明中裁剪得到鞋子的图像的示意图。

图10是本发明中鞋子裁剪的示意图。

图11是本发明中不同朝向的鞋子的示意图。

图12是本发明中鞋子匹配的流程图。

图13是本发明中机器人理鞋过程示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请同时参阅图1-图13，本发明提供了一种基于视觉的机器人智能理鞋系统设计与实现方法的一些实施例。

本发明的基于视觉的机器人智能理鞋系统设计与实现方法应用于基于视觉的机器人智能理鞋系统，基于视觉的机器人智能理鞋系统包括：依次连接的摄像头、识别系统以及机器人；其中，所述机器人上设置有抓取鞋子的机械手。

为了方便整理鞋子，机器人可以的移动，机器人包括：控制器和驱动件，控制器与机械手连接以控制机械手抓取鞋子，驱动件用于驱动机器人移动，驱动件可以是轮式驱动件或履带式驱动件，机械手包括机械臂和抓具，机械臂与控制器连接，抓具与机械臂连接，机械臂模拟人的胳膊以调整抓具的位置，抓具模拟人的手以抓取鞋子。当然，机器人还包括：声音传感器，超声波传感器以及加速度传感器等。

本发明首次提出了鞋子整理机器人可以从根源上解决鞋子乱摆放的问题，也是首个小型接触式操作机器人。用户可以进门以后，较随意地脱鞋进入室内休息。该机器人可以自动识别放置杂乱的鞋子，将它们进行可识别左右脚的匹配。然后识别鞋子的抓取点，控制机械臂完成抓取动作，进而将一双鞋子，按照左右脚顺序整齐地摆放至鞋柜上，整个过程实现全自动并且避障的操作。鞋子不与其他鞋子产生二次污染，而且机器人可以将鞋子摆放至任何款式的鞋架或者鞋柜；再者该机器人设计精巧、结构简单、占用空间小、可移动性高、成本低，适合家庭以及公共场合使用。

如图1所示，本发明的一种基于视觉的机器人智能理鞋系统设计与实现方法，包括以下步骤：

步骤S100、获取目标图像；所述目标图像中的目标包括鞋子和鞋架。

具体地，通过摄像头获取目标图像，目标图像可以是一张也可以是多张，目标可以是位于同一张目标图像中，也可以是位于不同目标图像中。例如，地上有多双鞋子，地上的鞋子都需要进行整理，可以对不同位置的鞋子进行拍摄不同的目标图像。再如，对鞋子和鞋柜也可以拍摄不同的目标图像。

步骤S200、根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像。

具体地，位姿是指位置和姿态，通常采用坐标表示位置，采用方向表示姿态，从而确定位姿。鞋子的图像是指目标图像中裁剪包含单只鞋子的图像。得到目标图像后，对目标图像中的目标进行识别，得到目标的位姿，对目标图像进行裁剪得到目标的图像。目标的位姿包括鞋子的位姿和鞋架的位姿，目标的图像包括鞋子的图像。也就是说，根据目标图像，得到鞋子的位姿，鞋架的位姿以及各鞋子的图像。

具体地，步骤S200具体包括：

步骤S210、将所述目标图像输入训练好的识别网络，通过所述训练好的识别网络得到所述目标图像中所述目标的类别和所述目标的掩码；其中，所述目标的类别包括鞋子和鞋架，所述目标的掩码包括：鞋子的掩码和鞋架的掩码。

具体地，将目标图像输入训练好的识别网络，通过训练好的识别网络对目标图像进行识别，训练好的识别网络输出目标图像中目标的类别和目标的掩码，由于目标图像中的目标包括鞋子和鞋架，则目标的类别包括鞋子和鞋架，目标的掩码包括鞋子的掩码和鞋架的掩码。

具体地，训练好的识别网络采用Mask R-CNN网络，Mask R-CNN是当前现在成为了工程界首选的检测算法之一，结构清晰，实时性好，准确率高。其基本思想是：预测框的位置、大小和物体分类都通过一次神经网络预测得到。

Mask R-CNN网络分为两个部分：第一部分是图像的分割。目的是物体识别问题转化图像分类问题。现阶段有两种思想，一种是使用不同尺寸的滑窗滑动便利整张图片，这样会比较全面地分析图片的内容，但是缺点也很明显，冗余程度高，速度慢。另一种就是MaskR-CNN的思想：直接将原始图片分割成互不重合的小方块，然后通过卷积最后生产这样大小的特征图，基于上面的分析，可以认为特征图的每个元素也是对应原始图片的一个小方块，然后用每个元素来可以预测那些中心点在该小方格内的目标。这种方法极大地减少了运算量，但是准确率会受到一定的影响，但是，为了弥补这方面的缺陷，Mask R-CNN选择输出3个不同尺度的特征图像(feature map)，这个借鉴了特征金字塔(FPN，feature pyramidnetworks)，采用多尺度来对不同尺寸的目标进行检测，越精细的分割就可以检测出越精细的物体。采用Mask R-CNN网络，具有较高实时性。

第二部分是图像的预测。图像预测的网络结构如图2所示。

基于上面的理论知识，给Mask R-CNN输入了大量鞋子的图像，每张数据都精确的抓取点的标识。对于鞋柜的识别，同样采用了上述模型获得鞋架可放置的位置和朝向。

训练好的识别网络基于数据集训练得到，数据集有两部分，一部分样本图像(如鞋类图像)是从网络上爬取的，以及从一些鞋类数据集中抽取的；另一部分是采用深度相机采集的真实场景下的样本图像(如鞋子和鞋架图像)。从这两部分数据中分别选取一部分图片作为原始数据。并通过数据增广等操作制作了数据集，并分成训练集和测试集。

数据集制作过程如下：

1、数据标注：数据标注是对样本图像进行标签标注，使用不规则多边形标记出数据集中鞋子、鞋口和鞋架的基本轮廓。标注效果如图3，图4所示。需要说明的是在对样本图像进行标注的时候，不仅对鞋子的整体轮廓做了标记，而且对每一个鞋子的鞋口进行标记。

2、数据增广：为了丰富数据集，提高模型的泛化能力，需要对样本图像进行数据增广。首先对每一张原始图像数据，每随机旋转一定角度保存一张图片以及进行翻转保存一张图片，用来增加样本的多样性；然后通过对图像数据添加高斯噪声和对图像进行颜色抖动等操作进一步进行数据增广。

如图5是对原始图像分别进行高斯模糊、水平翻转、颜色抖动和随机旋转一定角度得到的数据增广的结果。

如图6所示，训练好的识别网络包括对鞋子的识别和鞋架的识别。目标图像输入训练好的识别网络后，训练好的识别网络输出目标图像中目标的类别和目标的掩码。当然，调整网络的参数，训练好的识别网络还可以输出目标的垂直矩形框，目标位于该垂直矩形框内，需要说明的是，由于目标的方向是任意的，因此目标的垂直矩形框并不一定是目标的最小外接矩形框。

步骤S220、针对每只鞋子，根据所述目标图像以及该鞋子的掩码，确定该鞋子的位姿。

具体地，为了进一步提高目标的位置信息的准确性，所述目标图像为深度图像，前面也有提到，采用深度相机拍摄的样本图像对识别网络进行训练。为了方便抓取鞋子，并整齐地摆放在鞋架上，需要确定鞋子的方向，也就是说，要确定鞋子的鞋头和鞋跟，鞋子的开口位于鞋跟处，则可以通过开口的位置，确定鞋子的方向信息。那么所述鞋子的掩码包括本体掩码和开口掩码；所述鞋子的位姿包括鞋子的位置信息和鞋子的方向信息。

识别网络输出鞋子的掩码后，每只鞋子具有对应的掩码，根据鞋子的掩码和目标图像可以确定该鞋子的位姿。具体地，根据本体掩码在目标图像中的位置，可以确定鞋子的位置信息。根据本体掩码和开口掩码可以确定鞋子的方向信息，从而确定鞋子的位姿。

具体地，步骤S220具体包括：

步骤S221、根据所述本体掩码，确定所述本体掩码对应的本体边框和本体中心点；其中，所述本体边框为鞋子的最小外接矩形框。

具体地，如图7所示，本体边框为鞋子的最小外接矩形框，也就是说，本体边框为本体掩码的最小外接矩形框，这里的最小外接矩形框的各边分别与鞋子(或掩码)的边缘抵接。本体中心点为本体边框的中心点，也就是本体边框的两个对角线的交点。每只鞋子具有一个本体掩码，则每只鞋子具有一个本体中心点。需要说明的是，现有的识别网络通常输出垂直矩形框，通过调整识别网络的参数，也可以使得识别网络在输出(本体)掩码时，也会输出本体边框和本体中心点。垂直矩形框与鞋子的方向信息无关，而本体边框与鞋子的方向信息相关联，因此，本发明采用本体边框围绕鞋子以标识出鞋子的位置。

步骤S222、针对每只鞋子，根据所述目标图像和该鞋子的本体中心点，确定该鞋子的位置信息。

具体地，每只鞋子对应有一个本体中心点，则根据目标图像和该鞋子的本体中心点，可以确定该鞋子的位置信息，鞋子的位置信息可以以目标图像建立坐标系来表示，例如，以目标图像的某一顶点为原点，以目标图像上顶点所在的两条边分别为x和y轴，建立xy坐标系，从而可以确定本体中心点在该坐标系的坐标，也就得到鞋子的位置信息。

步骤S223、根据所述开口掩码，确定所述开口掩码对应的开口中心点。

具体地，识别网络在输出本体掩码时，还会得到开口掩码，根据开口掩码可以确定开口掩码的开口中心点。例如，可以根据开口掩码，确定开口掩码的最小外接矩形框，然后根据开口掩码的最小外接矩形框，确定开口中心点。

步骤S224、针对每个本体边框，根据该本体边框和所有开口中心点，确定该本体边框对应的开口中心点。

具体地，虽然识别网络可以输出本体掩码和开口掩码，通常存在多双鞋子，则有多个本体掩码和多个开口掩码，也就有多个本体边框和多个开口中心点，需要确定各本体边框各自分别对应的开口中心点才能确定鞋子的方向信息。

可以针对每个本体边框，确定该本体边框对应的开口中心点，具体地，可以通过开口中心点与本体边框的相对位置关系，确定本体边框和开口中心点的对应关系，当开口中心点位于本体边框内时，则该开口中心点为本体边框对应的开口中心点。

步骤S225、针对每只鞋子，根据该鞋子的本体边框的中心点和该鞋子的本体边框对应的开口中心点，确定该鞋子的方向信息。

具体地，针对每只鞋子，可以确定该鞋子的本体边框的中心点和该鞋子对应的开口中心点，根据该鞋子的本体边框的中心点和该鞋子对应的开口中心点，确定该鞋子的方向信息，例如，以鞋子对应的开口中心点为起点，以鞋子的本体边框的中心点为终点，形成向量，则可以确定该向量与x轴(或y轴)之间的夹角，从而确定鞋子的方向信息。

步骤S230、根据目标图像以及所述鞋架的掩码，确定所述鞋架的位姿。

具体地，为了将鞋子放在鞋架上，除了要得到鞋子的位姿以便抓取鞋子，还需要确定鞋架的位姿以便将抓取的鞋子放入鞋架。鞋架的位姿包括鞋架的位置信息。识别网络对目标图像进行识别后，会输出鞋架的掩码，通过鞋架的掩码在目标图像中的位置，可以得到鞋架的位置信息。

为了方便将鞋子放入鞋架，并整齐地摆放在鞋架上，需要确定鞋架的方向，也就是说，要确定鞋架的入口，则可以通过入口的位置，确定鞋架的方向信息。那么鞋架的掩码包括：架体掩码和入口掩码；所述鞋架的位姿包括鞋架的位置信息和鞋架的方向信息。

识别网络输出鞋架的掩码后，鞋架具有对应的掩码(需要说明的是，鞋架可以是一个或多个，每个鞋架具有对应的掩码)，根据鞋架的掩码和目标图像可以确定鞋架的位姿。具体地，根据架体掩码在目标图像中的位置，可以确定鞋架的位置信息。根据架体掩码和入口掩码可以确定鞋架的方向信息，从而确定鞋架的位姿。

以一个鞋架为例进行说，步骤S230具体包括：

步骤S231、根据所述架体掩码，确定所述架体掩码对应的架体中心点；

步骤S232、根据所述目标图像和鞋架的架体中心点，确定鞋架的位置信息；

步骤S233、根据所述入口掩码，确定入口掩码对应的入口中心点；

步骤S234、鞋架的架体中心点和入口中心点，确定鞋架的方向信息。

具体过程，与确定鞋子的位置信息和鞋子的方向信息类似。

需要说明的是，鞋架的位姿还包括空缺位姿，空缺位姿是指鞋架上可放置鞋子的位置信息。空缺位姿可以有多个，后续可以将多个空缺位姿中的一个作为目标位姿，从而将鞋子放入目标位姿的位置上。

步骤S240、针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像。

具体地，如图12所示，由于鞋子是成双成对的，因此，需要将成双成对的鞋子放在一起，则需要提前确定两只鞋子是配对的鞋子，为了便于配对的鞋子的匹配，本发明对目标图像中各鞋子的图像裁剪出来，进行进一步的判断，得到配对的鞋子。

在具体裁剪过程中，针对每只鞋子，根据该鞋子的掩码对目标图像进行裁剪，得到该鞋子的图像，通过任意两只鞋子的图像进行匹配，则可以得到配对的鞋子。

具体地，步骤S240具体包括：

步骤S241、针对每只鞋子，根据该鞋子的本体掩码对应的本体边框以及该鞋子的本体边框对应的开口中心点，对所述目标图像进行旋转，得到该鞋子的旋转图像；其中，该鞋子的旋转图像中该鞋子竖直向上。

步骤S242、对该鞋子的旋转图像进行裁剪，得到该鞋子的图像。

具体地，如图8所示，由于本体边框是鞋子的最小外接矩形框，因此本体边框可能是倾斜的或者倒置的，并不是竖直向上的状态，因此，为了降低鞋子的配对难度，将目标图像进行旋转后再进行裁剪，在对目标图像进行旋转后，得到鞋子的旋转图像，则该鞋子的旋转图像中该鞋子是竖直向上设置的，则鞋子的本体边框也是竖直向上的。如图11所示，鞋子可以竖直向上或竖直向下，但需要统一。

需要说明的是，可以根据鞋子的本体边框以及鞋子的开口中心点，对目标图像进行旋转。当然在得到鞋子的方向信息后，也可以根据该鞋子的方向信息对目标图像进行旋转。

如图9和图10所示，在裁剪时，可以根据鞋子的本体边框对该鞋子的旋转图像进行裁剪，得到该鞋子的图像，也就是说，裁剪后，鞋子的图像中鞋子的边缘抵接鞋子的图像的边缘，整个鞋子的图像体现了单只鞋子的图像信息，从而方便配对。

步骤S300、根据所有所述鞋子的图像，确定配对的鞋子。

具体地，根据所有鞋子的图像，确定配对的鞋子，通常鞋子是两两配对的，在配对时，为了提高配对的准确性，对所有鞋子的图像进行配对。

具体地，步骤S300具体包括：

步骤S310、针对每个鞋子的图像，将该鞋子的图像输入训练好的特征提取网络，通过所述训练好的特征提取网络得到该鞋子的特征向量。

步骤S320、对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子。

具体地，本发明中采用训练好的特征提取网络，提取各鞋子的图像对应的鞋子的特征向量，然后对任意两个鞋子的特征向量进行匹配(配对)，当两个鞋子的特征向量匹配时，则该两只鞋子为配对的鞋子。

具体地，在对任意两个鞋子的特征向量进行匹配时，可以根据两只鞋子的位置信息确定待匹配的两只鞋子，并对这两只鞋子对应的特征向量进行匹配，具体地，通常是先确定目标鞋子，然后确定目标鞋子对应的待匹配鞋子，在确定目标鞋子的待匹配鞋子时，根据目标鞋子的位置信息与待匹配鞋子的位置信息，确定目标鞋子的待匹配鞋子，例如，先匹配与目标鞋子距离较近的待匹配鞋子，后匹配与目标鞋子距离较远的待匹配鞋子。

配对的鞋子中两只鞋子较相似(匹配)，则两只鞋子对应的特征向量也较相似，因此，可以先提取鞋子的特征向量，然后对鞋子的特征向量进行匹配，得到配对的鞋子。

训练好的特征提取网络可以采用VGG16网络，对鞋子的图像进行特征提取，得到鞋子的特征向量。

具体地，步骤S320具体包括：

步骤S321、根据任意两个鞋子的特征向量，确定两个鞋子的余弦相似度。

步骤S322、当两个鞋子的余弦相似度满足预设要求时，将两个鞋子作为配对的鞋子。

具体地，根据任意两个鞋子的特征向量，确定两个鞋子的余弦相似度，若该余弦相似度满足预设要求时，则两个鞋子匹配成功，将两个鞋子作为配对的鞋子。预设要求可以是余弦相似度大于相似度阈值。

步骤S400、根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。

具体地，确定配对的鞋子后，根据配对的鞋子中各鞋子的位姿和鞋架的位姿，将鞋子放入鞋架中。

步骤S400具体包括：

步骤S410、根据所述鞋架的位姿，确定所述鞋架的目标位姿；其中，所述目标位姿为所述鞋架上放入所述配对的鞋子的位姿。

步骤S420、针对所述配对的鞋子每只鞋子，根据该鞋子的位姿，抓取该鞋子，并根据所述目标位姿，将所述配对的鞋子放入所述鞋架。

具体地，鞋架的位姿包括空缺位姿，根据空缺位姿确定鞋架的目标位姿，目标位姿为空缺位姿中的一个。鞋架分为多层，为了方便鞋子的取放，鞋子通常是先将鞋子放在鞋架的上层，上层放满后再放下一层，因此，按照鞋架的上下层顺序，将空缺位姿作为目标位姿。

确定目标位姿后，针对配对的鞋子中每只鞋子，根据该鞋子的位姿，确定抓取位置，并根据抓取位置抓取该鞋子。抓取位置为鞋子的开口处，可以根据本体边框和开口中心点，确定抓取位置。

基于上述基于视觉的机器人智能理鞋系统设计与实现方法，本发明还提供了一种基于视觉的机器人智能理鞋系统的较佳实施例：

基于视觉的机器人智能理鞋系统包括：依次连接的摄像头、识别系统以及机器人；其中，所述机器人上设置有抓取鞋子的机械手；

所述摄像头，用于获取目标图像，并发送至所述识别系统；所述目标图像中的目标包括鞋子和鞋架；

所述识别系统，用于接收所述目标图像，并根据所述目标图像，确定所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，且根据所有所述鞋子的图像，确定配对的鞋子；

所述机器人，用于根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。

所述识别系统具体用于将所述目标图像输入训练好的识别网络，通过所述训练好的识别网络得到所述目标图像中所述目标的类别和所述目标的掩码；其中，所述目标的类别包括鞋子和鞋架，所述目标的掩码包括：鞋子的掩码和鞋架的掩码；针对每只鞋子，根据所述目标图像以及该鞋子的掩码，确定该鞋子的位姿；根据目标图像以及所述鞋架的掩码，确定所述鞋架的位姿；针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像。

所述识别系统具体用于根据所述本体掩码，确定所述本体掩码对应的本体边框和本体中心点；其中，所述本体边框为鞋子的最小外接矩形框；针对每只鞋子，根据所述目标图像和该鞋子的本体中心点，确定该鞋子的位置信息；根据所述开口掩码，确定所述开口掩码对应的开口中心点；针对每个本体边框，根据该本体边框和所有开口中心点，确定该本体边框对应的开口中心点；针对每只鞋子，根据该鞋子的本体边框的中心点和该鞋子的本体边框对应的开口中心点，确定该鞋子的方向信息。

所述识别系统具体用于针对每只鞋子，根据该鞋子的本体掩码对应的本体边框以及该鞋子的本体边框对应的开口中心点，对所述目标图像进行旋转，得到该鞋子的旋转图像；其中，该鞋子的旋转图像中该鞋子竖直向上；对该鞋子的旋转图像进行裁剪，得到该鞋子的图像。

所述识别系统具体用于针对每个鞋子的图像，将该鞋子的图像输入训练好的特征提取网络，通过所述训练好的特征提取网络得到该鞋子的特征向量；对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子。

所述识别系统具体用于根据任意两个鞋子的特征向量，确定两个鞋子的余弦相似度；当两个鞋子的余弦相似度满足预设要求时，将两个鞋子作为配对的鞋子。

所述机器人用于根据所述鞋架的位姿，确定所述鞋架的目标位姿；其中，所述目标位姿为所述鞋架上放入所述配对的鞋子的位姿；针对所述配对的鞋子每只鞋子，根据该鞋子的位姿，抓取该鞋子，并根据所述目标位姿，将该鞋子放入所述鞋架。

如图13所示，在鞋子抓取的过程中，机械臂需要做的基本运动有：

1、协同履带或者轮子载具，将抓手移动到待抓取鞋子的抓取点附近。

2、机械臂移动，使得鞋子的抓取点进入抓手抓取范围。

3、抓手回缩，抓住鞋子的抓取点。

4、提起鞋子，协同载具移动到鞋架前。

5、调整机械臂至鞋子抵达鞋架目标位置前方。

6、机器人移动，将鞋子放置鞋架当中，根据摄像头反馈情况继续调整鞋子位置。

7、旋转摄像头搜选与之匹配的另一只鞋。

8、在匹配到另一只鞋后，重复执行动作1-6。

本发明结构简单紧凑，成本较低。(1)结构简单。机器人结构简单，可进行批量生产。(2)占用空间小。机器人的移动底座较小，机械臂可收缩放置。在无任务可执行时，自动进入半休眠状态，将其所占用空间降到最低。(3)可移动性强。这款机器人体积空间小，结构简单，携带轻巧方便。可在多个地方多个区域内进行服务操作。(4)成本低。因为这款机器人结构简单，所以采用的零件数量少，整体造价低。(5)应用范围广。这款机器人不仅适用于家庭领域，在商用领域也十分的有优势，比如溜冰场、澡堂等。可见理鞋机器人可移植性高，应用范围广，商业价值高。(6)潜在用户群大。鞋子一多就越容易出现鞋子存放困扰，所以可见这款机器人的潜在用户群大。

基于上述基于视觉的机器人智能理鞋系统设计与实现方法，本发明还提供了一种计算机设备的较佳实施例：

计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：

获取目标图像；所述目标图像中的目标包括鞋子和鞋架；

根据所述目标图像，确定所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；

根据所有所述鞋子的图像，确定配对的鞋子；

根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。

基于上述基于视觉的机器人智能理鞋系统设计与实现方法，本发明还提供了一种计算机可读存储介质的较佳实施例：

计算机可读存储介质其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

获取目标图像；所述目标图像中的目标包括鞋子和鞋架；

根据所述目标图像，确定所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；

根据所有所述鞋子的图像，确定配对的鞋子；

根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，包括步骤：

获取目标图像；所述目标图像中的目标包括鞋子和鞋架；

根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像；

根据所有所述鞋子的图像，确定配对的鞋子；

根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。

2.根据权利要求1所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述根据所述目标图像，确定各所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，包括：

将所述目标图像输入训练好的识别网络，通过所述训练好的识别网络得到所述目标图像中所述目标的类别和所述目标的掩码；其中，所述目标的类别包括鞋子和鞋架，所述目标的掩码包括：鞋子的掩码和鞋架的掩码；

针对每只鞋子，根据所述目标图像以及该鞋子的掩码，确定该鞋子的位姿；

根据目标图像以及所述鞋架的掩码，确定所述鞋架的位姿；

针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像。

3.根据权利要求2所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述目标图像为深度图像；所述鞋子的掩码包括本体掩码和开口掩码；所述鞋子的位姿包括鞋子的位置信息和鞋子的方向信息；所述针对每只鞋子，根据所述目标图像以及该鞋子的边框，确定该鞋子的位姿，包括：

根据所述本体掩码，确定所述本体掩码对应的本体边框和本体中心点；其中，所述本体边框为鞋子的最小外接矩形框；

针对每只鞋子，根据所述目标图像和该鞋子的本体中心点，确定该鞋子的位置信息；

根据所述开口掩码，确定所述开口掩码对应的开口中心点；

针对每个本体边框，根据该本体边框和所有开口中心点，确定该本体边框对应的开口中心点；

针对每只鞋子，根据该鞋子的本体边框的中心点和该鞋子的本体边框对应的开口中心点，确定该鞋子的方向信息。

4.根据权利要求3所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述针对每只鞋子，根据该鞋子的掩码对所述目标图像进行裁剪，得到该鞋子的图像，包括：

针对每只鞋子，根据该鞋子的本体掩码对应的本体边框以及该鞋子的本体边框对应的开口中心点，对所述目标图像进行旋转，得到该鞋子的旋转图像；其中，该鞋子的旋转图像中该鞋子竖直向上；

对该鞋子的旋转图像进行裁剪，得到该鞋子的图像。

5.根据权利要求2所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述根据所有所述鞋子的图像，确定配对的鞋子，包括：

针对每个鞋子的图像，将该鞋子的图像输入训练好的特征提取网络，通过所述训练好的特征提取网络得到该鞋子的特征向量；

对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子。

6.根据权利要求5所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述对任意两个鞋子的特征向量进行匹配，以确定配对的鞋子，包括：

根据任意两个鞋子的特征向量，确定两个鞋子的余弦相似度；

当两个鞋子的余弦相似度满足预设要求时，将两个鞋子作为配对的鞋子。

7.根据权利要求1所述的基于视觉的机器人智能理鞋系统设计与实现方法，其特征在于，所述根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架，包括：

根据所述鞋架的位姿，确定所述鞋架的目标位姿；其中，所述目标位姿为所述鞋架上放入所述配对的鞋子的位姿；

针对所述配对的鞋子每只鞋子，根据该鞋子的位姿，抓取该鞋子，并根据所述目标位姿，将该鞋子放入所述鞋架。

8.一种基于视觉的机器人智能理鞋系统，其特征在于，包括：依次连接的摄像头、识别系统以及机器人；其中，所述机器人上设置有抓取鞋子的机械手；

所述摄像头，用于获取目标图像，并发送至所述识别系统；所述目标图像中的目标包括鞋子和鞋架；

所述识别系统，用于接收所述目标图像，并根据所述目标图像，确定所述鞋子的位姿、所述鞋架的位姿以及各所述鞋子的图像，且根据所有所述鞋子的图像，确定配对的鞋子；

所述机器人，用于根据所述配对的鞋子中各鞋子的位姿和所述鞋架的位姿，将所述配对的鞋子放入所述鞋架。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images