CN111483803A - 控制方法、抓取系统和存储介质 - Google Patents

Abstract

本申请公开了一种控制方法、抓取系统和存储介质。控制方法用于抓取系统。抓取系统包括摄像头、抓取装置、传送带和设置在传送带的编码器；控制方法包括：获取摄像头输出的待识别图像；获取编码器输出的传送带的运动信息；根据待识别图像和运动信息确定待码放物体的目标抓取位姿；控制抓取装置运动至目标抓取位姿以抓取待码放物体；根据待识别图像确定待码放物体的目标放置位姿；控制抓取装置从目标抓取位姿移动至目标放置位姿以码放待码放物体。如此，目标抓取位姿的确定考虑到了传送带的运动，使得对待码放物体的抓取更加灵活。目标放置位姿的确定基于待识别图像，使得对待码放物体的码放更加智能，有利于提高抓取和码放的效率和效果。

Description

控制方法、抓取系统和存储介质

技术领域

本申请涉及控制技术领域，具体涉及一种控制方法、抓取系统和存储介质。

背景技术

相关技术通常通过摄像头拍摄图像以确定传送带上的物体的位置，然后通过抓取装置来抓取传送带上的物体，并对抓取到的物体进行码放。然而，当抓取装置移动至由图像确定的待抓取物体的位置时，物体通常已离开该位置。而且，码放的位置通常是固定的，导致抓取和码放的灵活性和效率较低，效果较差。

发明内容

本申请提供了一种控制方法、抓取系统和存储介质。

本申请实施方式提供一种控制方法。所述控制方法用于抓取系统，所述抓取系统包括摄像头、抓取装置、传送带和设置在所述传送带的编码器；所述控制方法包括：

获取所述摄像头输出的待识别图像；

获取所述编码器输出的所述传送带的运动信息；

根据所述待识别图像和所述运动信息确定待码放物体的目标抓取位姿；

控制所述抓取装置运动至所述目标抓取位姿以抓取所述待码放物体；

根据所述待识别图像确定所述待码放物体的目标放置位姿；

控制所述抓取装置从所述目标抓取位姿移动至所述目标放置位姿以码放所述待码放物体。

本申请实施方式提供一种抓取系统。所述抓取系统包括处理器、摄像头、抓取装置、传送带和设置在所述传送带的编码器，所述处理器用于获取所述摄像头输出的待识别图像；获取所述编码器输出的所述传送带的运动信息；根据所述待识别图像和所述运动信息确定待码放物体的目标抓取位姿；控制所述抓取装置运动至所述目标抓取位姿以抓取所述待码放物体；根据所述待识别图像确定所述待码放物体的目标放置位姿；控制所述抓取装置从所述目标抓取位姿移动至所述目标放置位姿以码放所述待码放物体。

本申请实施方式的控制方法、抓取系统和存储介质，目标抓取位姿的确定考虑到了传送带的运动，使得对待码放物体的抓取更加灵活。目标放置位姿的确定基于待识别图像，使得对待码放物体的码放更加智能，有利于提高抓取和码放的效率和效果。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的控制方法的流程示意图；

图2是本申请实施方式的抓取系统的结构示意图；

图3是本申请实施方式的抓取系统的模块示意图；

图4是本申请另一实施方式的控制方法的流程示意图；

图5是相关技术的控制方法的待识别图像的示意图；

图6是本申请实施方式的控制方法的待识别图像的示意图；

图7是本申请实施方式的控制方法的待识别图像的图像轮廓示意图；

图8是本申请又一实施方式的控制方法的流程示意图；

图9是本申请再一实施方式的控制方法的流程示意图；

图10是本申请另一实施方式的控制方法的流程示意图。

具体实施方式

下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。

在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

请参阅图1和图2，本申请实施方式提供一种控制方法和抓取系统100。控制方法用于抓取系统100，抓取系统100包括摄像头10、抓取装置20、传送带30和设置在传送带30的编码器40；控制方法包括：

步骤S13：获取摄像头10输出的待识别图像；

步骤S14：获取编码器40输出的传送带30的运动信息；

步骤S17：根据待识别图像和运动信息确定待码放物体的目标抓取位姿；

步骤S18：控制抓取装置20运动至目标抓取位姿以抓取待码放物体；

步骤S19：根据待识别图像确定待码放物体的目标放置位姿；

步骤S20：控制抓取装置20从目标抓取位姿移动至目标放置位姿以码放待码放物体。

请参阅图3，本申请实施方式提供一种抓取系统100。抓取系统100包括处理器101、摄像头10、抓取装置20、传送带30和设置在传送带30的编码器40，处理器101用于获取摄像头10输出的待识别图像；获取编码器40输出的传送带30的运动信息；根据待识别图像和运动信息确定待码放物体的目标抓取位姿；控制抓取装置20运动至目标抓取位姿以抓取待码放物体；根据待识别图像确定待码放物体的目标放置位姿；控制抓取装置20从目标抓取位姿移动至目标放置位姿以码放待码放物体。

本申请实施方式的控制方法和抓取系统100，目标抓取位姿的确定考虑到了传送带30的运动，使得对待码放物体的抓取更加灵活。目标放置位姿的确定基于待识别图像，可基于待识别图像对目标放置位姿动态确定，使得对待码放物体的码放更加智能，有利于提高抓取和码放的效率和效果。

本实施方式中的摄像头10包括2D工业摄像头。可以理解，在其他的实施方式中，摄像头10可为3D摄像头。例如基于结构光、飞行时间、双目视觉的3D摄像头。在此不对摄像头10的具体形式进行限定。

本实施方式中的抓取装置20可包括机械臂，机械臂可设有电磁吸盘21，电磁吸盘21用于在通电时产生磁力以吸附待码放物体，在断电时丧失磁力以释放待码放物体。如此，可以通过通电和断电简单方便地实现待码放物体的吸取和释放，而且断电时电磁吸盘21退磁及时，可以避免退磁不及时的问题，有利于提高抓取效率。具体地，电磁吸盘21可包括多个电磁单元，多个电磁单元呈阵列排布。如此，可以在通电时产生阵列式的磁力，从而使抓取更加稳定。

可以理解，在其他的实施方式中，抓取装置20也可通过夹爪、真空吸盘等部件对待码放物体进行抓取。在此不对抓取装置20的具体形式进行限定。

另外，在图2的示例中，摄像头10的数量为2个，抓取装置20的数量为2个，每个抓取装置20与一个摄像头10对应设置。如此，两组摄像头10和抓取装置20可以交替抓取待码放物体，可以提高效率。

可以理解，在其他的实施方式中，摄像头10的数量可以为1个、3个、4个或其他数量。抓取装置20的数量可以为1个、3个、4个或其他数量。在此不对摄像头10和抓取装置20的具体数量进行限定。

本实施方式中的编码器40可为旋转编码器。旋转编码器可以随传送带30同步旋转，并记录编码值。编码值也即是传送带30的运动信息。

在步骤S13前，控制方法可包括：对摄像头10进行内参标定和外参标定，以建立摄像头10的坐标系与传送带30的坐标系之间的联系；标定抓取装置20的坐标系，以建立抓取装置20的坐标系与传送带30的坐标系之间的联系。如此，可以建立起摄像头10的坐标系、传送带30的坐标系和抓取装置20的坐标系之间的联系，保证抓取系统100的各部件处于正确的状态，便于后续的计算和抓取。

具体地，可利用张正友标定法及openCV中的marker detection模块分别对摄像头10进行内参标定与外参标定。可利用三点标定法标定抓取装置20的坐标系。在此不对标定的具体方式进行限定。

请注意，本实施方式中的目标抓取位姿、目标放置位姿，均是在抓取装置20的坐标系下的位姿。

本实施方式中的抓取系统100可包括工业控制计算机、可编程逻辑控制器(Programmable Logic Controller,PLC)。摄像头10与抓取装置20的主机之间可通过工业控制计算机建立通信链路，编码器40可与抓取装置20连接。各部件之间的信号转发可由PLC完成。处理器101可为工业控制计算机、可编程逻辑控制器的部分或全部。

请参阅图4，在某些实施方式中，待识别图像包括非过滤区域，控制方法包括：

步骤S15：在待码放物体的图像未处于非过滤区域时，确定未从待识别图像中检测到待码放物体；

步骤S16：在待码放物体的图像处于非过滤区域时，确定从待识别图像中检测到待码放物体，并进入步骤S17和步骤S19。

在某些实施方式中，待识别图像包括非过滤区域，处理器101用于在待码放物体的图像未处于非过滤区域时，确定未从待识别图像中检测到待码放物体；在待码放物体的图像处于非过滤区域时，确定从待识别图像中检测到待码放物体，并进入根据待识别图像和运动信息确定待码放物体的目标抓取位姿的步骤，和根据待识别图像确定待码放物体的目标放置位姿的步骤。

如此，通过非过滤区域缩小待识别图像的检测范围，确保待码放物体完全进入摄像头10的视野再对待识别图像进行检测识别，有利于提高识别的准确率。可以理解，非过滤区域也即是待识别图像的实际检测范围。

请注意，待识别图像中非过滤区域之外的区域为过滤区域。待码放物体的图像处于非过滤区域，是指待码放物体的图像完全处于非过滤区域。待码放物体的图像未处于非过滤区域，包括待码放物体的图像完全处于过滤区域，或，待码放物体的图像的一部分处于非过滤区域，另一部分处于非过滤区域。

可以理解，由于待码放物体通常具有一定尺寸和体积，在待码放物体未被摄像头10拍全的情况下，如果根据待识别图像确定待码放物体的目标抓取位姿和目标放置位姿，可能导致目标抓取位姿和目标放置位姿的准确率较低，甚至导致对待码放物体的抓取失败。

例如，请参阅图5，根据待识别图像P1，可以确定此时待码放物体未完全进入摄像头10的视野，即待识别图像P1中不包括待码放物体的完整图像。如果对待识别图像进行识别，只能基于图5中虚线框中的、待码放物体的部分图像P11计算，以得到目标抓取位姿。这样得到的目标抓取位姿与基于完整的待码放物体的图像所计算出目标抓取位姿相差较大，容易导致抓取偏离待码放物体的中心，甚至导致抓取失败。类似地，此时只能基于图5中虚线框中的、待码放物体的部分图像P11计算，以得到目标放置位姿。这样得到的目标放置位姿与基于完整的待码放物体的图像所计算出目标放置位姿相差较大，导致目标放置位姿的准确率将大幅下降。

而在本实施方式中，在待码放物体的图像未处于待识别图像的非过滤区域时，确定未从待识别图像中检测到待码放物体；在待码放物体的图像处于非过滤区域时，确定从待识别图像中检测到待码放物体，并进入步骤S17和步骤S19，可以保证待码放物体完全进入摄像头10的视野再根据待识别图像进行检测识别，有利于提高识别的准确率。

例如，请参阅图6，待识别图像P2包括过滤区域P21和非过滤区域P22。由于码放物体的图像轮廓，即图7中的白色区域与黑色区域交界处的像素点，全部处于非过滤区域P22内，因此，可确定待码放物体的图像P23处于非过滤区域P22，从而确定从待识别图像P2中检测到待码放物体，进而可以进入进入步骤S17和步骤S19。

可以理解，如果待码放物体未完全出现在非过滤区域P22，例如图像轮廓上的像素点出现在过滤区域P21中，或者，图像轮廓与过滤区域P21和非过滤区域P22的边界有交点，则该图像轮廓被舍弃，确定未从待识别图像中检测到待码放物体。

请注意，理想情况下，过滤区域和非过滤区域的边界可以接近待识别图像的边缘，即过滤区域可以很小。然而，若待码放物体表面反光、纹理过于丰富，待码放物体的图像轮廓容易出现断裂的现象。此时，图像轮廓将不紧贴待识别图像的边缘。因此，为保证过滤效果，过滤区域与非过滤区域的边界应适当远离待识别图像的边界。该边界的具体位置可根据实际场景测试确定。

另外，控制方法可包括：获取输入数据；根据输入数据确定过滤区域和非过滤区域的边界，以确定非过滤区域的范围。如此，确定过滤区域和非过滤区域的边界，可以准确地确定非过滤区域的范围。

可以理解，输入数据可由用户输入，也可由抓取系统100的检测部件检测得到。输入数据可为前述的根据实际场景测试确定的测试信息，也可为确定过滤区域和非过滤区域的边界的具体数值。在此不对输入数据的具体来源和具体形式进行限定。

在本实施方式中，输入数据可以是为确定过滤区域和非过滤区域的边界的具体数值。

例如，输入数据包括基点和缩放比例，可根据基点和缩放比例缩放待识别图像的边框，并将缩放后的边框的范围作为非过滤区域的范围。如此，以缩放待识别图像的边框的形式确定非过滤区域的范围，简单方便，容易实现。

在一个例子中，基点为待识别图像的中心，缩放比例为0.5，可以待识别图像的中心为基点，以0.5作为缩放比例，对待识别图像的边框进行缩放，缩放后的边框作为过滤区域和非过滤区域的边界。即，缩放后的边框内即为非过滤区域，缩放后的边框与待识别图像的边框之间的区域即为过滤区域。

再如，输入数据包括基点和范围尺寸，可根据基点和范围尺寸确定非过滤区域的范围。如此，非过滤区域的范围较为灵活。

在一个例子中，基点为待识别图像的中心，范围尺寸为长500像素，宽500像素。如此，则将以待识别图像的中心为基点，长500像素，宽500像素的范围作为非过滤区域。可以理解，范围尺寸可以包括矩形范围的尺寸、正方形范围的尺寸、圆形范围的尺寸。在此不对范围尺寸的具体形式进行限定。

此外，在本实施方式中，可通过用于目标检测的卷积神经网络对待识别图像进行识别，以待码放物体的图像是否处于非过滤区域。如此，可以提高识别的准确性。

请参阅图8，在某些实施方式中，控制方法包括：

步骤S11：获取触发信号；

步骤S12：根据触发信号控制摄像头10连续拍摄以获取待识别图像；

在确定未从待识别图像中检测到待码放物体时，进入步骤S13。

在某些实施方式中，处理器101用于获取触发信号；根据触发信号控制摄像头10连续拍摄以获取待识别图像；在确定未从待识别图像中检测到待码放物体时，进入获取摄像头10输出的待识别图像的步骤。

如此，通过控制摄像头连续拍摄，可以避免漏检，并提高检测效率。

可以理解，相关技术通常采用光电传感器等感应器件进行拦截式抓取，在感应到待码放物体后，发送信号至摄像头以触发摄像头拍摄待识别图像，从而根据待识别图像确定待码放物体的目标抓取位姿。

然而，由于待码放物体触发拍照时必须处于摄像头视野下以使待识别图像中包括待码放物体的图像，因此，光电传感器也必须位于摄像头视野下。为了保证形状种类各异的待码放物体被拍摄完整，光电传感器常常位于接近视野中央的位置。在待码放物体流动至该位置触发光电传感器等感应器件之前，摄像头和抓取装置不会有任何动作。然而这样可能错过实际上存在的合适的抓取时机，从而导致抓取的滞后。另外，如果多个待码放物体并列通过光电传感器等感应器件，可能仅触发摄像头进行一次拍照，而一次拍照仅识别一个待码放物体，这将导致遗漏，从而使得传统方式的效率较低。

而本实施方式的控制方法，利用触发摄像头10连续拍摄，以实现自动化、近实时化检测，将被动等待触发拍照转变为主动触发拍照。在这样的触发模式下，待码放物体被实时监控，一旦进入摄像头10的视野，便能被摄像头10拍摄，从而确定目标抓取位置。而且，即使多个待码放物体并列进入摄像头10的视野，摄像头10也能够迅速地进行多次拍摄，避免遗漏。这样的方式减少了抓取装置20的等待时间，使得抓取的节拍更加紧凑，并且能大幅减少漏识别的发生，有利于提高工作效率。

具体地，在步骤S11中，触发信号可由抓取装置20发送至处理器101。触发信号可由抓取装置20在抓取装置20启动时发送。如此，保证摄像头10拍摄时，抓取装置20处于工作状态，避免根据待识别图像确定了目标抓取位姿后，抓取装置20不能及时运动以抓取待码放物体。

进一步地，处理器101在获取到触发信号的情况下，可开始读取编码器40输出的运动信息。例如，工业控制计算机可通过PLC给抓取装置20发送读取信号，以使抓取装置20的处理装置读取编码器40输出的运动信息。

在步骤S12中，可利用高频率触发信号控制摄像头10连续拍摄，以获取待识别图像，使得摄像头10接近实时化拍摄，避免时间间隔过长引起的遗漏。

请参阅图9，在某些实施方式中，步骤S17包括：

步骤S171：根据待识别图像确定待码放物体的初始位姿；

步骤S172：根据运动信息确定待码放物体的位姿偏差；

步骤S173：根据初始位姿和位姿偏差确定目标抓取位姿。

在某些实施方式中，处理器101用于根据待识别图像确定待码放物体的初始位姿；根据运动信息确定待码放物体的位姿偏差；根据初始位姿和位姿偏差确定目标抓取位姿。

如此，实现根据待识别图像和运动信息确定待码放物体的目标抓取位姿。具体地，在步骤S171中，可利用卷积神经网络处理待识别图像，以确定待码放物体的最小矩阵包围盒；根据最小矩阵包围盒确定待码放物体的初始位姿。如此，可以准确地实现根据待识别图像确定待码放物体的初始位姿。

在步骤S172中，可根据运动信息确定传送带30的位移，从而确定待码放物体的位姿偏差。可以理解，由于待码放物体放置在传送带30上，随着传送带30一同运动，因此，可根据传送带30的位移确定待码放物体的位姿偏差。

另外，可在根据初始位姿和位姿偏差确定目标抓取位姿后，根据目标抓取位姿进行运动规划以得到规划信息，并根据规划信息控制抓取装置20运动至目标抓取位姿以抓取待码放物体。如此，通过运动规划控制抓取装置20基于规划信息进行运动，可以提高抓取的效率和准确性，避免由于没有进行运动规划而引起的抓取装置20运动的混乱。

进一步地，规划信息可包括抓取装置20的运动速度、加速度、位移中的至少一个。可以理解，规划信息用于控制抓取装置20的运动轨迹。

此外，控制抓取装置20运动至目标抓取位姿以抓取待码放物体，可包括：判断抓取装置20是否运动至目标抓取位姿；在抓取装置20运动至目标抓取位姿的情况下，控制抓取装置20抓取待码放物体；在抓取装置20未运动至目标抓取位姿的情况下，控制抓取装置20向目标抓取位姿运动。如此，不断地对抓取装置20的状态进行判断，以及时抓取待码放物体，避免延迟。

具体地，可基于随动系统控制抓取装置20运动至目标抓取位姿。如此，可以实现对待码放物体的快速跟踪和准确定位。可以理解，随动系统是一种反馈控制系统，其根据机械位移或者速度的变化，反过来调整随动系统的输出，达到输出随输入变化而变化的效果。

请参阅图10，在某些实施方式中，步骤S19包括：

步骤S191：根据待识别图像确定待码放物体的类别；

步骤S192：根据待码放物体的类别确定目标放置位姿。

在某些实施方式中，处理器101用于根据待识别图像确定待码放物体的类别；根据待码放物体的类别确定目标放置位姿。

如此，通过由待识别图像确定的待码放物体的类别，确定待码放物体的目标放置位姿，可以实现待码放物体的分类码放，使得对待码放物体的码放更加清楚。

具体地，步骤S191包括：

利用卷积神经网络处理待识别图像，以确定待码放物体的图像轮廓和待码放物体的第一类别；

对图像轮廓进行模板匹配，以确定待码放物体在第一类别下的第二类别；

将第二类别作为待码放物体的类别。

在某些实施方式中，处理器101用于利用卷积神经网络处理待识别图像，以确定待码放物体的图像轮廓和待码放物体的第一类别；及用于对图像轮廓进行模板匹配，以确定待码放物体在第一类别下的第二类别；以及用于将第二类别作为待码放物体的类别。

换言之，可通过卷积神经网络确定图像轮廓和待码放物体所处的大类，再通过图像轮廓从大类中确定待码放物体所处的子类。

如此，可以准确、快速地确定待码放物体的类别。而且，由于卷积神经网络只需确定待码放物体所处的大类，无需确定大类下细分的子类，可以避免卷积神经网络的臃肿。

在一个例子中，利用卷积神经网络处理待识别图像，确定待码放物体的第一类别为：“圆环”。对图像轮廓进行模板匹配，确定待码放物体在“圆环”下的第二类别为：“1号尺寸的圆环”。则可将“1号尺寸的圆环”作为待码放物体的类别。

在步骤S192中，可根据待码放物体的类别查询数据库，以确定目标放置位姿。可以理解，待码放物体的类别和目标放置位姿的对应关系可预存在数据库中。

在步骤S192中，可根据待码放物体的类别从多个料框50中确定一个料框50作为目标料框50，并将目标料框50对应的位姿作为目标放置位姿。如此，可以将待码放物体按照类别码放进对应的料框50。

请注意，控制抓取装置20从目标抓取位姿移动至目标放置位姿以码放待码放物体的解释和说明可参照前文中关于控制抓取装置20运动至目标抓取位姿以抓取待码放物体的部分，为避免冗余，在此不再赘述。

本申请实施例还提出一种计算机可读存储介质，计算机可读存储介质上存储有控制程序，控制程序被处理器101执行时实现如上述任一实施方式的控制方法。

例如执行：步骤S13：获取摄像头10输出的待识别图像；步骤S14：获取编码器40输出的传送带30的运动信息；步骤S17：根据待识别图像和运动信息确定待码放物体的目标抓取位姿；步骤S18：控制抓取装置20运动至目标抓取位姿以抓取待码放物体；步骤S19：根据待识别图像确定待码放物体的目标放置位姿；步骤S20：控制抓取装置20从目标抓取位姿移动至目标放置位姿以码放待码放物体。

本申请实施方式的和计算机可读存储介质，目标抓取位姿的确定考虑到了传送带30的运动，使得对待码放物体的抓取更加灵活。目标放置位姿的确定基于待识别图像，使得对待码放物体的码放更加智能，有利于提高抓取和码放的效率和效果。

综合以上，本申请实施方式的控制方法、抓取系统100和存储介质，可以实现传送带30上待待码放物体的实时监测、随动抓取，以及对待码放物体的自动分类码放等高度智能化无人作业，可以大幅节约人力，提高生产效率近5倍。

而且，可以通过触发信号触发摄像头10连续拍摄，以合理地控制抓取节拍，提高待码放物体的抓取效率。另外，通过神经网络的方式对待识别图像进行识别，速度较快，准确率较高。具体地，识别速度可小于1s，准确率可高达99％。对待码放物体的位姿估计精度高，误差在1度和1毫米以内。

此外，在待码放物体种类繁多(例如几万种)、尺寸差异巨大(5～1000cm不等)的场景下，本申请实施方式的控制方法在进行目标检测(objection detection)以确定最小包围盒和第一类别的同时，进行实例分割(instance segmentation)以确定图像轮廓，从而实现多任务联合学习。最小包围盒用于确定待码放物体的中心，图像轮廓用于轮廓匹配完成细分类，使得分类准确率达到98％，大幅提高抓取与码放的效率。

最后，本申请实施方式的控制方法还可结合在线训练数据合成和深度网络快速自适应微调(fine tuning)技术，实现在线小样本学习，从而在短时间内迅速调整部署神经网络模型，满足复杂场景下零件的动态分类需求。

在本说明书的描述中，参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (10)

1.一种控制方法，用于抓取系统，其特征在于，所述抓取系统包括摄像头、抓取装置、传送带和设置在所述传送带的编码器；所述控制方法包括：

获取所述摄像头输出的待识别图像；

获取所述编码器输出的所述传送带的运动信息；

根据所述待识别图像和所述运动信息确定待码放物体的目标抓取位姿；

控制所述抓取装置运动至所述目标抓取位姿以抓取所述待码放物体；

根据所述待识别图像确定所述待码放物体的目标放置位姿；

控制所述抓取装置从所述目标抓取位姿移动至所述目标放置位姿以码放所述待码放物体。

2.如权利要求1所述的控制方法，其特征在于，所述待识别图像包括非过滤区域，所述控制方法包括：

在所述待码放物体的图像未处于所述非过滤区域时，确定未从所述待识别图像中检测到所述待码放物体；

在所述待码放物体的图像处于所述非过滤区域时，确定从所述待识别图像中检测到所述待码放物体，并进入所述根据所述待识别图像和所述运动信息确定待码放物体的目标抓取位姿的步骤，和所述根据所述待识别图像确定所述待码放物体的目标放置位姿的步骤。

3.如权利要求1所述的控制方法，其特征在于，根据所述待识别图像和所述运动信息确定所述待码放物体的目标抓取位姿，包括：

根据所述待识别图像确定所述待码放物体的初始位姿；

根据所述运动信息确定所述待码放物体的位姿偏差；

根据所述初始位姿和所述位姿偏差确定所述目标抓取位姿。

4.如权利要求1所述的控制方法，其特征在于，根据所述待识别图像确定所述待码放物体的目标放置位姿，包括：

根据所述待识别图像确定所述待码放物体的类别；

根据所述待码放物体的类别确定所述目标放置位姿。

5.如权利要求4所述的控制方法，其特征在于，根据所述待识别图像确定所述待码放物体的类别，包括：

利用卷积神经网络处理所述待识别图像，以确定所述待码放物体的图像轮廓和所述待码放物体的第一类别；

对所述图像轮廓进行模板匹配，以确定所述待码放物体在所述第一类别下的第二类别；

将所述第二类别作为所述待码放物体的类别。

6.一种抓取系统，其特征在于，所述抓取系统包括处理器、摄像头、抓取装置、传送带和设置在所述传送带的编码器，所述处理器用于获取所述摄像头输出的待识别图像；获取所述编码器输出的所述传送带的运动信息；根据所述待识别图像和所述运动信息确定待码放物体的目标抓取位姿；控制所述抓取装置运动至所述目标抓取位姿以抓取所述待码放物体；根据所述待识别图像确定所述待码放物体的目标放置位姿；控制所述抓取装置从所述目标抓取位姿移动至所述目标放置位姿以码放所述待码放物体。

7.如权利要求6所述的抓取系统，其特征在于，所述待识别图像包括非过滤区域，所述处理器用于在所述待码放物体的图像未处于所述非过滤区域时，确定未从所述待识别图像中检测到所述待码放物体；在所述待码放物体的图像处于所述非过滤区域时，确定从所述待识别图像中检测到所述待码放物体，并进入所述根据所述待识别图像和所述运动信息确定待码放物体的目标抓取位姿的步骤，和所述根据所述待识别图像确定所述待码放物体的目标放置位姿的步骤。

8.如权利要求1所述的抓取系统，其特征在于，所述处理器用于根据所述待识别图像确定所述待码放物体的类别；根据所述待码放物体的类别确定所述目标放置位姿。

9.如权利要求8所述的抓取系统，其特征在于，所述处理器用于利用卷积神经网络处理所述待识别图像，以确定所述待码放物体的图像轮廓和所述待码放物体的第一类别；及用于对所述图像轮廓进行模板匹配，以确定所述待码放物体在所述第一类别下的第二类别；以及用于将所述第二类别作为所述待码放物体的类别。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有控制程序，所述控制程序被处理器执行时实现如权利要求1至5中任一项所述的控制方法。

Images