CN109895095B - 一种训练样本的获取方法、装置和机器人 - Google Patents

Abstract

本发明公开了一种训练样本的获取方法、装置和机器人，包括：获取机械臂抓取有待检测物体的第一图像；获取机械臂的运动信息，并根据运动信息确定设置于机械臂末端的抓取装置在第一图像中的位置；根据抓取装置在第一图像中的位置，在第一图像中采用标记框将抓取装置进行框选。本发明中通过获取机械臂抓取待检测物体的图像，并且基于机械臂的运动信息求取机械臂末端上的抓取装置在该图像中的位置，最后根据该位置在图像中对包含有抓取装置的图像进行截取，获得包含有待检测物体的标记图像，自动完成待检测物体的标记，能够快速有效地获取到大量的深度学习训练样本。

Description

一种训练样本的获取方法、装置和机器人

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种训练样本的获取方法、装置和机器人。

背景技术

深度学习的概念源于人工神经网络的研究，于2006年由Hinton等人提出。深度学习是机器学习中一种基于对数据进行表征学习的方法，其动机是模拟人类神经元的组织结构，模拟人类分析学习事物的能力，通过非监督或者半监督式的特征学习来取代传统人工设计的特征表征方式，有更优的数据泛化能力和噪声鲁棒性。

而CNN等监督式深度学习模型参数规模庞大，需要大量的标签样本进行学习来提高输出准确率。目前常见的物体识别模型常需要1000至10000个样本才能有较好的训练结果，需要耗费大量的人力、时间资源进行采集、标记工作。

在现有技术中，通常为将待检测物体置于不同背景下进行手工拍摄，得到的样张再由人工通过软件标记出所处位置，以供深度学习模型使用。然而，通过人工对每一张图片上的待检测物体进行标记耗时较大，在面对海量的训练样本时，往往需要耗费操作员大量的时间来完成一个物体的标记。

发明内容

本发明提供了一种训练样本的获取方法、装置和机器人，通过机器人自主采集待检测物体的图像，并自动截取图像中的物体，获得该物体的训练样本。

第一方面，本发明提供的一种训练样本的获取方法，包括：

获取机械臂抓取有待检测物体的第一图像；

获取所述机械臂的位置信息，并根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置；

基于所述抓取装置在所述第一图像中的位置，在所述第一图像中截取第二图像；

其中，所述第二图像内包括有所述抓取装置且所述第二图像小于所述第一图像。

可选地，所述根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置包括：

根据所述位置信息进行图像采集装置的手眼标定，确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置，所述位置信息包括所述机械臂上各个关节的转动角度和/或位移量。

可选地，还包括：根据所述位置信息计算所述抓取装置与图像采集装置在水平方向上的距离；

结合所述抓取装置与图像采集装置在水平方向上的距离以及所述抓取装置的大小信息确定所述第二图像的大小。

可选地，还包括：根据所述抓取装置在所述第一图像中的位置截取预设大小的第三图像；

对所述第三图像进行模板匹配处理，通过模板匹配获取到所述第一图像中所述抓取装置上的多个特征图案，所述多个特征图案分别设置于所述抓取装置的边缘位置；

根据所述多个特征图案确定所述第二图像。

可选地，所述根据所述多个特征图案确定所述第二图像包括：

基于所述多个特征图案中每个特征图案的特征点，确定所述第二图像的多个顶点，并将所述多个顶点连接，获得所述第二图像。

可选地，还包括：获取机械臂抓取有待检测物体的第四图像，所述第四图像为由深度摄像头采集的深度图像，且所述第四图像与所述第一图像的采集位置相同；

对所述第四图像中的深度信息进行分析，并在所述第四图像中截取包含有所述待检测物体的目标深度图像；

将所述目标深度图像反投射到所述第一图像中，获得所述第二图像。

可选地，所述对所述第四图像中的深度信息进行分析，并在所述第四图像中截取包含有所述待检测物体的目标深度图像包括：

根据所述抓取装置在所述第一图像中的位置，在所述第四图像中相同的位置上进行深度信息分析，并截取前景区域，获得目标深度图像。

可选地，所述在所述第一图像中采用标记框将所述抓取装置进行框选之后，还包括：

驱动所述机械臂末端与所述抓取装置连接的关节转动，并获取所述机械臂转动后待检测物体的第五图像；

在所述第五图像中截取包含有所述抓取装置的第六图像，并将所述第六图像和所述第二图像归为同一类别，以获得所述待检测物体在不同角度下的图像。

第二方面，本发明提供的一种训练样本的获取装置，包括：

第一获取模块，用于获取机械臂抓取有待检测物体的第一图像；

位置确定模块，用于获取所述机械臂的位置信息，并根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置；

标记模块，用于基于所述抓取装置在所述第一图像中的位置，在所述第一图像中截取第二图像；。

第三方面，本发明提供的一种机器人，包括：

机械臂、图像采集装置和如第二方面所述的装置；

所述机械臂上设置有抓取装置，用于抓取待检测物体；

所述图像采集装置用于拍摄所述机械臂抓取待检测物体的第一图像；

所述装置用于获取所述第一图像和所述机械臂的位置信息并进行训练样本的获取。

本发明具有以下有益效果：

本发明中通过获取机械臂抓取待检测物体的图像，并且基于机械臂的位置信息求取机械臂末端上的抓取装置在该图像中的位置，最后根据该位置在图像中对包含有抓取装置的图像进行截取，获得包含有待检测物体的标记图像，自动完成待检测物体的标记，能够快速有效地获取到大量的深度学习训练样本。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例提供的一种现有技术中的图像标记示意图；

图2为本发明实施例提供的一种训练样本的获取方法示例一的流程示意图；

图3为本发明实施例提供的一种第一图像被框选后的示意图；

图4为本发明实施例提供的一种第一图像被框选后的另一示意图；

图5为本发明实施例提供的一种训练样本的获取方法示例二的流程示意图；

图6为本发明实施例提供的一种特征图案组合的示意图；

图7为本发明实施例提供的一种特征图案组合成标记框的示意图；

图8为本发明实施例提供的一种训练样本的获取方法示例三的流程示意图；

图9为本发明实施例提供的一张由图像采集装置采集的第一图像；

图10为本发明实施例提供的一张由深度摄像头采集的第四图像；

图11为本发明实施例提供的反投射有标记框的第一图像；

图12为本发明实施例提供的一种训练样本的获取装置的结构示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

目前而言，深度学习模型参数规模庞大，通常需要大量的标签样本进行学习来提高输出准确率。目前常见的物体识别模型常需要1000至10000个样本才能有较好的训练结果，需要耗费大量的人力、时间资源进行采集、标记工作。

具体地，如图1所示，通常为将待检测物体置于不同背景下进行手工拍摄(如图1中人在足球场背景下的图片)，得到的样张再由人工通过软件标记出待检测物体的所处位置，以供深度学习模型使用。然而，通过人工对每一张图片上的待检测物体进行标记耗时较大，平均每一张图片耗时30秒左右，在面对海量的训练样本时，往往需要耗费操作员大量的时间来完成一个物体的标记，费时费力。有鉴于此，本发明中提供了一种训练样本的获取方法，通过机械臂自主采集待检测物体的图像，并且自动对图像中的物体进行标记，实现深度学习训练样本的自动获取。

如图2所示，图2为本发明实施例提供的一种训练样本的获取方法示例一的流程示意图。

本发明实施例提供的一种训练样本的获取方法，包括：

S201、获取机械臂抓取有待检测物体的第一图像；

在本发明实施例中，由搭载有机械臂的移动机器人、设置于移动机器人上的图像采集装置以及处理装置完成训练样本的获取。具体地，图像采集装置可以设置在移动机器人的顶部，用于移动机器人前方的场景进行拍摄；机械臂则在图像采集装置可拍摄的范围内活动并且通过设置于其末端位置上的抓取装置抓取待检测物体；处理装置则与图像采集装置连接，用于获取图像采集装置采集到的图像。

可以理解的是，在机械臂将待检测物体抓取后，图像采集装置即可以对机械臂抓取到待检测物体的场景进行拍摄，获取到第一图像；其中，第一图像中包括有待检测物体、抓取待检测物体的机械臂以及机械臂所处位置的背景。为实现对待检测物体的标记，则需要确定待检测物体在整张第一图像中的位置。

S202、获取所述机械臂的位置信息，并根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置；

可以理解的是，图像采集装置可以为固定设置在移动机器人上，而机械臂上的一端也是相对固定地设置在移动机器人上，当机械臂在移动机器人的前方活动时，可以保证图像采集装置始终能够拍摄到机械臂末端的抓取装置，即保证了抓取装置所抓取到的待检测物体始终在图像采集装置采集到的第一图像中。由于待检测物体始终处于被机械臂末端的抓取装置抓取的状态，因此，只要能够确定了抓取装置的位置，便可以确定待检测物体的位置。

通常而言，机械臂抓取待检测物体的具体过程为：移动机器人移动至待检测物体前，然后启动机械臂将待检测物体抓取起来，并且由机械臂通过转动等操作将待检测物体呈现在图像采集装置前，由图像采集装置采集得到第一图像。可以理解的是，在机械臂启动前，机械臂与图像采集装置的位置是相对固定的，即机械臂在启动前始终位于图像采集装置所采集得到的图像中某一固定的位置，当机械臂启动并进行运动后，机械臂在图像采集装置采集得到的图像中的位置也随之改变，因此，只要获取得到机械臂在抓取待检测物体的过程中的运动行程，便可以根据该运动行程以及机械臂的初始位置计算得到机械臂的实际位置，进而获得抓取装置在第一图像中的位置。

举例来说，在机械臂启动前，机械臂末端的抓取装置刚好位于图像采集装置所采集到的图像的中心，在移动机器人移动至待检测物体前并驱动机械臂抓取待检测物体之后，机械臂往左下方抓取待检测物体并将其呈现在图像采集装置前。显然，此时机械臂末端的抓取装置位于图像采集装置所采集到的第一图像的左下方，因此，可以根据机械臂在抓取过程中的运动行程获得机械臂末端的抓取装置相对原来的位置的移动情况，得到抓取装置的实际位置，进而获得抓取装置在第一图像中的位置。

具体地，在本发明实施例提供的一种可选的实施方式中，所述根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置具体可以包括：根据所述位置信息进行图像采集装置的手眼标定，确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置，所述位置信息包括所述机械臂上各个关节的转动角度和/或位移量。

可以理解的是，机械臂通常由多个可活动的关节所构成，且关节可以在多个自由度上进行转动或进行一定的位移，因此，结合多个关节之间的转动角度和/或位移量，可以计算得到机械臂实际的位移情况。其中，进行图像采集装置的手眼标定具体为：根据机械臂上多个关节的转动角度以及位移量确定所述机械臂末端的抓取装置在空间坐标系中的第一坐标，然后将所述第一坐标转化为像素坐标系的第二坐标，最终获得所述抓取装置在所述第一图像中的位置。可以理解的是，由于机械臂是在三维空间中进行运动，而图像采集装置所采集得到的图像则为二维空间图像，因此，想要获得抓取装置在图像中的具体位置，则可以将抓取装置在三维空间的空间坐标系中的具体坐标位置换算成基于图像的像素坐标系的坐标位置。

S203、基于所述抓取装置在所述第一图像中的位置，在所述第一图像中截取第二图像；其中，所述第二图像内包括有所述抓取装置且所述第二图像小于所述第一图像。

在获取到抓取装置在第一图像中的大致位置之后，即可以抓取装置为中心，截取一个包含有抓取装置且稍大于抓取装置的第二图像，从而实现获得抓取装置抓取有待检测物体的标记图像，实现对待检测物体的标记。

另外，除了直接截取第二图像，还可以通过采用一个标记框或者标记圈(为便于叙述，以下以标记框进行简述)将抓取装置框选或圈选出来之后，作为第二图像的参考截取位置，再实现第二图像的截取。可以理解的是，由于待检测物体是被抓取装置抓住的，因此，采用一个较大的标记框将整个抓取装置框选了之后，待检测物体也同时被框选了出来，从而实现待检测物体的自动标记。值得注意的是，为了保证整个待检测物体能够被完全框选到，在标记时可以采用一个较大的标记框，保证抓取装置以及待检测物体均能被有效地框选到。

本发明实施例中通过将移动机器人、机械臂和图像采集装置进行结合，通过机械臂抓取待检测物体，由图像采集装置采集待检测物体被抓取的图像，并且基于机械臂的位置信息求取机械臂末端上的抓取装置在该图像中的位置，最后根据该位置在图像中对包含有抓取装置的图像进行截取，获得包含有待检测物体的标记图像，自动完成待检测物体的标记，能够快速有效地获取到大量的深度学习训练样本，以供深度学习模型使用。

值得注意的是，在机械臂在抓取不同的待检测物体时，机械臂每次的运动行程都可能是不一样的，导致机械臂末端距离图像采集装置的距离也是不一样的。例如，当移动机器人移动至距离待检测物体较近的地方时，机械臂的行程也相对较小，机械臂末端的抓取装置距离图像采集装置较近；当移动机器人由于无法继续前进等原因移动至距离待检测物体较远的地方时，则需要机械臂伸出较长的距离去抓取待检测物体，此时，机械臂末端距离图像采集装置也会相对较远。即，在机械臂每次抓取待检测物体时，机械臂末端的抓取装置均可能处于与图像采集装置距离不一致的竖直平面上，而图像采集装置中只能呈现抓取装置在竖直平面内的相对位置，而无法呈现抓取装置与图像采集装置之间的远近关系。然而，当抓取装置相对图像采集装置较远的时候，抓取装置在图像采集装置所采集到的图像中会显得较小，即占据图像中的面积比例较小；当抓取装置相对图像采集装置较近的时候，抓取装置在图像采集装置所采集到的图像中会显得较大，即占据图像中的面积比例较大。如果，在任何情况下均采用大小一样的标记框作为参考，去截取第二图像，则有可能在抓取装置相对图像采集装置较远的时候，第二图像中将会截取到更多的背景物，而在抓取装置相对图像采集装置较近的时候，无法截取到整个抓取装置，均影响了待检测物体的正常标记。

基于此，在本发明实施例中提供的一种可选的实施方式中，还可以包括：根据所述位置信息计算所述抓取装置与图像采集装置在水平方向上的距离；结合所述抓取装置与图像采集装置在水平方向上的距离以及所述抓取装置的大小信息确定所述第二图像的大小。

可以理解的是，由于机械臂是在空间坐标系中进行运动，根据机械臂的位置信息，可以计算出抓取装置具体的空间坐标，基于该空间坐标即可以计算得到抓取装置在水平方向上与图像采集装置之间的距离，根据该距离信息以及抓取装置具体的大小信息即可确定标记框的大小，即确定第二图像的大小。可以理解的是，由于抓取装置的大小是确定的，因此，可以取图像采集装置与抓取装置在水平方向上的一个距离(例如50cm)作为基准距离，并根据该基准距离设定好对应的标记框的大小。当抓取装置与图像采集装置在水平方向上的距离发生变化时，根据抓取装置与图像采集装置之间的实际距离与基准距离之间的关系，以一定的比例关系对标记框的大小进行调整即可实现标记框大小的自主调整，从而保证待检测物体能够更好地被框选。

然而，基于机械臂的位置信息去求取机械臂末端上的抓取装置在第一图像中的位置并且根据距离进行标记框大小的调整，也只能够计算得到抓取装置上待检测物体的大致位置，对于待检测物体的大小、形态等并没有很好的认知。因此，为保证待检测物体能够完全被框选到，用于框选待检测物体的标记框通常被预设得比较大，来确保待检测物体在标记框的范围内。基于此，该方法不能很好地匹配相同物体的不同形态、或者大小不同的物体，画出的标记框总是会大于应有的大小，导致在框选到待检测物体的时候，会框选到过多的背景，甚至是框选到其他的物体，从而影响后续的模型训练。如图3和图4所示，图3为本发明实施例提供的一种第一图像被框选后的示意图；图4为本发明实施例提供的一种第一图像被框选后的另一示意图。其中，图3和图4分别为在抓取装置抓取大小不同的物体时，基于上述方法进行待检测物体的标记框选后得到的图像。由图3和图4可见，虽然标记框已经将整个待检测物体进行了框选，但是标记框所框选的范围远大于待检测物体所占据的范围，待检测物体与标记框的边缘之间还存在有较大的空隙。

如图5所示，图5为本发明实施例提供的一种训练样本的获取方法示例二的流程示意图。

本发明实施例提供的一种训练样本的获取方法，包括：

S501、获取机械臂抓取有待检测物体的第一图像；

S502、获取所述机械臂的位置信息，并根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置；

S503、根据所述抓取装置在所述第一图像中的位置截取预设大小的第三图像；

其中，所截取的第三图像可以基于抓取装置的大小进行确定，即设置为略大于抓取装置，以保证尽可能地将抓取装置以及可能略大于抓取装置的待检测物体都截取到，以便于后续在第三图像中将待检测物体进行框选。

S504、对所述第三图像进行模板匹配处理，通过模板匹配获取到所述第一图像中所述抓取装置上的多个特征图案，所述多个特征图案分别设置于所述抓取装置的边缘位置；

其中，在抓取装置的边缘位置上，例如在抓取装置的四个边角上，可以分别设置一个特征图案，通过识别模板匹配算法，识别得到多个特征图案之后，便可以确定抓取装置的边缘位置，基于该边缘位置可以将整个抓取装置进行框选，从而获得自适应的标记框。其中，特征图案可以为菱形、三角形、扇形等具有一定特征且容易识别的图案，此处不做具体限制。

S505、根据所述多个特征图案确定所述第二图像。

具体地，在本发明实施例提供的一种可选的实施方式中，可以基于所述多个特征图案中每个特征图案的特征点，确定所述第二图像的多个顶点，并将所述多个顶点连接，获得所述第二图像。如图6和图7所示，图6为本发明实施例提供的一种特征图案组合的示意图；图7为本发明实施例提供的一种特征图案组合成标记框的示意图。图6和图7中，该特征图案由两个顶点相同的扇形所构成，该特征图案的特征点即为两个扇形共同的顶点；在抓取装置的三个或四个边角上各设置一个特征图案，特征图案上的特征点可以视为抓取装置的边缘角，因此，可以将特征点视作为标记框的多个顶点，通过将这几个顶点连接起来，即可得到对应的标记框，保证了标记框刚好框选到整个抓取装置。

值得注意的是，由此种方式所得到的标记框通常只能标记框选到抓取装置的抓取范围内的物体；因此，在抓取装置所抓取的物体远大于抓取装置本身时，并不适合采用此种方式进行待检测物体的标记。

另外，在实际使用中，由于抓取装置上的特征图案容易受光照、色彩、相机畸变等影响，使得模板匹配以及提取特征点的性能波动较大，有可能无法获得准确的特征点。

有鉴于此，本发明实施例中提供另外一种方式，以实现待检测物体的精准框选。

如图8所示，图8为本发明实施例提供的一种训练样本的获取方法示例三的流程示意图。

本发明实施例提供的一种训练样本的获取方法，包括：

S801、获取机械臂抓取有待检测物体的第一图像；

S802、获取机械臂抓取有待检测物体的第四图像，所述第四图像为由深度摄像头采集的深度图像，且所述第四图像与所述第一图像的采集位置相同；

可以理解的是，通过深度摄像头在相同的位置上采集第四图像，可以确保机械臂末端的抓取装置在第一图像中的位置与第四图像中的位置一致。

S803、获取所述机械臂的位置信息，并根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置；

S804、对所述第四图像中的深度信息进行分析，并在所述第四图像中截取包含有所述待检测物体的目标深度图像；

在获得抓取装置在第一图像中的大致位置后，可以根据所述抓取装置在所述第一图像中的位置，在所述第四图像中相同的位置上进行深度信息分析，并截取前景区域，获得目标深度图像，在此基础上自适应画出标记框，能够保证更好的适配性。其中，前景区域是指在图像中处于前景位置的区域，即该区域上的物体离深度摄像头最近。可以理解的是，由于第四图像为通过深度摄像头采集的深度图，能够反映图像中物体的距离信息，而待检测物体整体与深度摄像头之间的距离是固定的，因此，基于抓取装置在第四图像中的大致位置进行深度信息分析，能够在该大致位置上分析得到待检测物体的区域。另外，由于待检测物体与其背景中的物体到深度摄像头的距离不一致，待检测物体到图像采集装置的距离要近于背景中的物体到深度摄像头的距离，因此，待检测物体的深度信息与其背景中的物体的深度信息不一致。因此，基于对深度信息的分析，可以有效地将待检测物体与背景中的物体进行区分，保证标记框只框选到待检测物体，实现待检测物体的精准框选。如图9和图10所示，图9为本发明实施例提供的一张由图像采集装置采集的第一图像；图10为本发明实施例提供的一张由深度摄像头采集的第四图像。

S805、将所述目标深度图像反投射到所述第一图像中，获得所述第二图像。

可以理解的是，由于第四图像中反映的只是待检测物体的深度信息，而进行模型训练时则需要正常的RGB图像，因此，可以将在第四图像中通过标记框框选得到的目标深度图像反投射到第一图像中，获得标记了待检测物体的第二图像。如图11所示，图11为本发明实施例提供的反投射有标记框的第一图像。具体地，基于所述深度框的大小、形状以及坐标信息，即可以在所述第一图像中确定大小、形状和位置均与深度框相同的标记框。

此外，由于同一个物体在不同的角度下所呈现的形态也可能是不一样的，因此，为了能够获取得到该物体完整的训练样本，通常还需要获取同一个待检测物体在不同的角度下的图像。进一步地，所述在所述第一图像中采用标记框将所述抓取装置进行框选之后，还包括：

驱动所述机械臂末端与所述抓取装置连接的关节转动，并获取所述机械臂转动后待检测物体的第五图像；在所述第五图像中截取包含有所述抓取装置的第六图像，并将所述第六图像和所述第二图像归为同一类别，以获得所述待检测物体在不同角度下的图像。

可以理解的是，由于抓取装置设置在机械臂末端并且由机械臂末端的关节所控制，因此，通过转动机械臂末端的关节，能够使得抓取装置往不同的方向转动，进而使得图像采集装置能够采集到抓取装置上待检测物体在不同角度下的形态，即获得相应的第五图像。在通过多次转动，获得同一个待检测物体在不同的角度下的所有图像之后，将这些图像归为同一类别，以便于后续对同一物体进行分类。

为了便于理解，以下将对本发明实施例提供的深度学习训练样本的获取方法的实施流程进行详细的介绍。

步骤1：由机械臂抓取待检测物体；

步骤2：由图像采集装置采集机械臂抓取待检测物体的图像，并自动完成图像的标记；

步骤3：机械臂变换多个角度对同一待检测物体拍摄多张图像，并完成这些图像的标记；

步骤4：机械臂放下该物体并且换一个抓取位置重新抓取该物体，重复步骤2至步骤3；

步骤5：重复进行步骤4，直至获取到足够的标记图像；最后，将获取得到的标记图像作为训练样本输入模型中进行模型训练。

本发明实施例中通过将移动机器人、机械臂和图像采集装置进行结合，通过机械臂抓取待检测物体，并由图像采集装置采集待检测物体被抓取的图像，并且基于机械臂的位置信息求取机械臂末端上的抓取装置在该图像中的位置，最后根据该位置在图像中将抓取装置进行标记框选，形成框选有待检测物体的标记图像，自动完成待检测物体的标记，省时省力，能够快速有效地获取到大量的深度学习训练样本，以供深度学习模型使用。

请参阅图12，图12为本发明实施例提供的一种训练样本的获取装置的结构示意图。

本发明实施例提供的一种训练样本的获取装置，包括：

第一获取模块1201，用于获取机械臂抓取有待检测物体的第一图像；

位置确定模块1202，用于获取所述机械臂的位置信息，并根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置；

标记模块1203，用于基于所述抓取装置在所述第一图像中的位置，在所述第一图像中截取第二图像；。

可选地，所述位置确定模块1202具体用于：

根据所述位置信息进行图像采集装置的手眼标定，确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置，所述位置信息包括所述机械臂上各个关节的转动角度和/或位移量。

可选地，还包括：距离计算模块，用于根据所述位置信息计算所述抓取装置与图像采集装置在水平方向上的距离；

所述标记模块1203，还用于结合所述抓取装置与图像采集装置在水平方向上的距离以及所述抓取装置的大小信息确定所述第二图像的大小。

可选地，还包括：图像截取模块，用于根据所述抓取装置在所述第一图像中的位置截取预设大小的第三图像；

模板匹配模块，用于对所述第三图像进行模板匹配处理，通过模板匹配获取到所述第一图像中所述抓取装置上的多个特征图案，所述多个特征图案分别设置于所述抓取装置的边缘位置；

所述标记模块1203，还用于根据所述多个特征图案确定所述第二图像。

可选地，所述模板匹配模块具体用于：

基于所述多个特征图案中每个特征图案的特征点，确定所述第二图像的多个顶点，并将所述多个顶点连接，获得所述第二图像。

可选地，还包括：第二获取模块，用于获取机械臂抓取有待检测物体的第四图像，所述第四图像为由深度摄像头采集的深度图像，且所述第四图像与所述第一图像的采集位置相同；

分析模块，用于对所述第四图像中的深度信息进行分析，并在所述第四图像中截取包含有所述待检测物体的目标深度图像；

反投射模块，用于将所述目标深度图像反投射到所述第一图像中，获得所述第二图像。

可选地，所述分析模块具体用于：

根据所述抓取装置在所述第一图像中的位置，在所述第四图像中相同的位置上进行深度信息分析，并截取前景区域，获得目标深度图像。

可选地，还包括：

驱动模块，用于驱动所述机械臂末端与所述抓取装置连接的关节转动，并获取所述机械臂转动后待检测物体的第五图像；

归类模块，用于在所述第五图像中截取包含有所述抓取装置的第六图像，并将所述第六图像和所述第二图像归为同一类别，以获得所述待检测物体在不同角度下的图像。

此外，本发明实施例还提供了一种机器人，包括：

机械臂、图像采集装置和上述的装置；

所述机械臂上设置有抓取装置，用于抓取待检测物体；

所述图像采集装置用于拍摄所述机械臂抓取待检测物体的第一图像；

所述装置用于获取所述第一图像和所述机械臂的位置信息并进行训练样本的获取。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (4)

1.一种训练样本的获取方法，其特征在于，包括：

获取机械臂抓取有待检测物体的第一图像；

获取所述机械臂的位置信息，并根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置；

基于所述抓取装置在所述第一图像中的位置，在所述第一图像中截取第二图像；

其中，所述第二图像内包括有所述抓取装置且所述第二图像小于所述第一图像；

所述根据所述位置信息确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置包括：

根据所述位置信息进行图像采集装置的手眼标定，确定设置于所述机械臂末端的抓取装置在所述第一图像中的位置，所述位置信息包括所述机械臂上各个关节的转动角度和位移量；所述进行图像采集装置的手眼标定具体为：根据机械臂上多个关节的转动角度以及位移量确定所述机械臂末端的抓取装置在空间坐标系中的第一坐标，然后将所述第一坐标转化为像素坐标系的第二坐标，最终获得所述抓取装置在所述第一图像中的位置；

根据所述位置信息计算所述抓取装置与图像采集装置在水平方向上的距离；

结合所述抓取装置与图像采集装置在水平方向上的距离以及所述抓取装置的大小信息确定所述第二图像的大小；

根据所述抓取装置在所述第一图像中的位置截取预设大小的第三图像；

对所述第三图像进行模板匹配处理，通过模板匹配获取到所述第一图像中所述抓取装置上的多个特征图案，所述多个特征图案分别设置于所述抓取装置的边缘位置；

根据所述多个特征图案确定所述第二图像。

2.根据权利要求1所述的训练样本的获取方法，其特征在于，所述根据所述多个特征图案确定所述第二图像包括：

基于所述多个特征图案中每个特征图案的特征点，确定所述第二图像的多个顶点，并将所述多个顶点连接，获得所述第二图像。

3.根据权利要求1所述的训练样本的获取方法，其特征在于，还包括：

获取机械臂抓取有待检测物体的第四图像，所述第四图像为由深度摄像头采集的深度图像，且所述第四图像与所述第一图像的采集位置相同；

对所述第四图像中的深度信息进行分析，并在所述第四图像中截取包含有所述待检测物体的目标深度图像；

将所述目标深度图像反投射到所述第一图像中，获得所述第二图像。

4.根据权利要求3所述的训练样本的获取方法，其特征在于，所述对所述第四图像中的深度信息进行分析，并在所述第四图像中截取包含有所述待检测物体的目标深度图像包括：

根据所述抓取装置在所述第一图像中的位置，在所述第四图像中相同的位置上进行深度信息分析，并截取前景区域，获得目标深度图像。

Images