CN112847348B

CN112847348B - 机械手控制方法、装置、拾取设备及计算机可读存储介质

Info

Publication number: CN112847348B
Application number: CN202011614968.5A
Authority: CN
Inventors: 陈海波; 李宗剑
Original assignee: Shenlan Intelligent Technology Shanghai Co ltd
Current assignee: Shenlan Intelligent Technology Shanghai Co ltd
Priority date: 2020-12-30
Filing date: 2020-12-30
Publication date: 2022-10-18
Anticipated expiration: 2040-12-30
Also published as: CN112847348A

Abstract

本申请提供了一种机械手控制方法、装置、拾取设备及计算机可读存储介质，应用于拾取设备，拾取设备设置有机械手和至少一种拾取组件，该方法包括：获取待拾取的物体的图像信息；根据图像信息获取物体所属的类型；当检测到类型对应的硬度小于预设阈值时，获取硬度对应的拾取组件类型；控制机械手使用拾取组件类型对应的拾取组件对物体进行拾取，并对物体进行移动。本申请能够通过物体的图像信息获取物体所属的类型，从而判断物体的软硬程度，并根据物体的软硬程度选择与其硬度对应的拾取组件类型，然后控制机械手使用该拾取组件类型拾取并运送物体，该种方式能够在一定程度上避免机械手由于拾取组件不标准及用力不当造成物体损坏的情况。

Description

机械手控制方法、装置、拾取设备及计算机可读存储介质

技术领域

本申请涉及机械手控制技术领域，尤其涉及一种机械手控制方法、装置、拾取设备及计算机可读存储介质。

背景技术

随着现代工业的发展，自动化流水线生产设备已经广泛用于各生产领域中，比如能够进行抓取和搬运的机械手，可按照预设的轨迹运动，按固定程序抓取、搬运物料，它可代替人工的繁重劳动以实现生产的机械化和自动化，能在有害环境下操作以保护人身安全，因而广泛应用于机械制造、食品加工、电子、轻工和原子能等领域。

在面包、蛋糕等软质食品的生产流水线中，需要对产品包装进行打码，现有的生产流水线适用于易变形物料的取料机械手控制系统多为日本、欧洲或中国台湾的进口设备，结构复杂，成本较高。而且，机械手运动控制的精度不够，无法有效控制机械手的抓取压力，压力过大容易造成软质食品的变形甚至损坏。因此，有必要改善上述相关技术方案中存在的一个或者多个问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供机械手控制方法、装置、拾取设备及计算机可读存储介质，实现机械手在抓取较软物体时能够不造成物体损害的目的。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种机械手控制方法，应用于拾取设备，所述拾取设备设置有机械手和至少一种拾取组件，该方法包括：

获取待拾取的物体的图像信息；

根据所述图像信息获取所述物体所属的类型；

当检测到所述类型对应的硬度小于预设阈值时，获取所述硬度对应的拾取组件类型；

控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取，并移动所述物体。

该技术方案的有益效果在于，通过物体的图像信息获取物体所属的类型，从而判断物体的软硬程度，并根据物体的软硬程度选择与其硬度对应的拾取组件类型，然后控制机械手使用该拾取组件类型拾取并运送物体，该种方式能够在一定程度上避免机械手由于拾取组件不标准及用力不当造成物体损坏的情况。

在一些可选的实施例中，所述拾取设备还设置有摄像头；

所述获取待拾取的物体的图像信息，包括：

控制所述摄像头进行转动，并捕捉所述物体多角度下的图片；

将捕捉到的不同角度下的多张图片进行整合并生成所述图像信息。

该技术方案的有益效果在于，通过获取物体在多角度下的图片，并对多张图片进行整合，能够构建物体的空间立体特征，以为后续获得物体的体积打基础。

在一些可选的实施例中，所述方法还包括：

获取所述物体的参数信息，所述参数信息包括以下至少一种：所述物体的体积信息、密度信息和质量信息；

所述控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取，包括：

根据所述参数信息，控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取。

该技术方案的有益效果在于，通过物体的体积、密度信息能够得到物体的质量信息，从而能够得到机械手抓取物体所用力的大小，便于机械手用适当的力抓取物体，保证了物体在运输过程中的完整性。

在一些可选的实施例中，所述参数信息包括体积信息；

所述获取所述物体的参数信息，包括：

提取所述图像信息中不同角度下的所述物体的轮廓信息，并对轮廓信息进行模型建立；

计算所述模型的体积，以得到所述物体的体积信息。

该技术方案的有益效果在于，通过提取物体在不同角度下的轮廓信息，从而构建模型，能够精确的计算出物体的体积大小，从而为机械手的抓取力度提供了计算基础。

在一些可选的实施例中，所述参数信息包括质量信息；

所述获取所述物体的参数信息，包括：

获取所述图像信息中所述物体的纹理信息，并将该物体的纹理信息与预存纹理信息进行比对，以获取对应纹理物体的密度信息；

根据所述体积信息和所述密度信息，计算得到所述物体的质量信息。

该技术方案的有益效果在于，通过提取物体的纹理信息，并与预存纹理信息进行比对，能够获得物体的密度信息，从而结合获得的体积信息计算得出物体的质量信息，进一步精确了机械手的抓取力度。

在一些可选的实施例中，所述拾取组件设置有拾取面；

控制所述机械手使用所述拾取组件伸入所述物体的下方，以使所述物体位于所述拾取面上；

控制所述机械手带动所述拾取组件上移从而带动所述物体上移，从而便于物体移动。

该技术方案的有益效果在于，通过物体的质量信息及硬度信息制定适合该物体的抓取方案即采用托举的方式运送物体，避免了普通机械手抓取物体时对物体造成的损伤。

第二方面，本申请提供了一种机械手控制装置，所述装置包括：

图像获取模块，用于获取待拾取的物体的图像信息；

物体类型模块，用于根据所述图像信息获取所述物体所属的类型；

组件类型模块，用于当检测到所述类型对应的硬度小于预设阈值时，获取所述硬度对应的拾取组件类型；

机械手控制模块，用于控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取，并移动所述物体。

在一些可选的实施例中，所述拾取设备还设置有摄像头；

所述图像获取模块包括：

摄像头控制单元，用于控制摄像头进行转动，并捕捉所述物体多角度下的图片；

图像整合单元，用于将捕捉到的不同角度下的多张图片进行整合并生成所述图像信息。

在一些可选的实施例中，所述装置还包括：

参数获取模块，用于获取所述物体的参数信息，所述参数信息包括以下至少一种：所述物体的体积信息、密度信息和质量信息；

所述机械手控制模块用于根据所述参数信息，控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取。

在一些可选的实施例中，所述参数信息包括体积信息；

所述参数获取模块包括：

轮廓提取单元，用于提取所述图像信息中不同角度下的所述物体的轮廓信息，并对轮廓信息进行模型建立；

体积计算单元，用于计算所述模型的体积，以得到所述物体的体积信息。

在一些可选的实施例中，所述参数信息包括质量信息；

所述参数获取模块包括：

密度获取单元，用于获取所述图像信息中所述物体的纹理信息，并将该物体的纹理信息与预存纹理信息进行比对，以获取对应纹理物体的密度信息；

质量计算单元，用于根据所述体积信息和所述密度信息，计算得到所述物体的质量信息。

在一些可选的实施例中，所述拾取组件设置有拾取面；

所述机械手控制模块包括：

拾取控制单元，用于控制所述机械手使用所述拾取组件伸入所述物体的下方，以使所述物体位于所述拾取面上；

上移控制单元，用于控制所述机械手带动所述拾取组件上移从而带动所述物体上移，从而便于物体移动。

第三方面，本申请提供了一种拾取设备，所述拾取设备包括存储器、处理器、机械手和至少一种拾取组件，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项方法的步骤。

附图说明

下面结合附图和实施例对本申请进一步说明。

图1是本申请实施例提供的一种机械手控制方法的流程示意图；

图2是本申请实施例提供的获取物体图像的流程示意图；

图3是本申请实施例提供的一种机械手控制方法的流程示意图；

图4是本申请实施例提供的计算物体体积的流程示意图；

图5是本申请实施例提供的获取物体密度的流程示意图；

图6是本申请实施例提供的控制机械手拾取的流程示意图；

图7是本申请实施例提供的一种机械手控制装置的结构示意图；

图8是本申请实施例提供的图像获取模块的结构示意图；

图9是本申请实施例提供的一种机械手控制结构的结构示意图；

图10是本申请实施例提供的参数获取模块的结构示意图；

图11是本申请实施例提供的参数获取模块的结构示意图；

图12是本申请实施例提供的机械手控制模块的结构示意图；

图13是本申请实施例提供的一种拾取设备的结构示意图；

图14是本申请实施例提供的一种用于实现机械手控制方法的程序产品的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

参见图1，本申请实施例提供了一种机械手控制方法，应用于拾取设备，所述拾取设备设置有机械手和至少一种拾取组件，所述方法包括步骤S101～S104。

步骤S101：获取待拾取的物体的图像信息。具体的，通过摄像头拍摄物体的照片，可进行多角度拍摄，具体不做限制。

在具体实施中，参见图2，所述拾取设备还设置有摄像头；所述步骤S101 可以包括步骤S1011～S1012。

步骤S1011：控制所述摄像头进行转动，并捕捉所述物体多角度下的图片。具体的，为获取物体更多的特征信息，将摄像头进行转动，从而获取物体在多角度下的图片，但不限于此。

步骤S1012：将捕捉到的不同角度下的多张图片进行整合并生成所述图像信息。具体的，能够通过获取物体在多角度下的图片，并对多张图片进行整合，能够构建物体的空间立体特征，以为后续获得物体的体积打基础。

步骤S102：根据所述图像信息获取所述物体所属的类型。具体的，对获取的图像信息进行物体特征分析，并与预存的多种物体类型进行比对，从而判断并获取物体所属的类型信息。

步骤S103：当检测到所述类型对应的硬度小于预设阈值时，获取所述硬度对应的拾取组件类型。具体的，当获取物体所属的类型信息后，可进一步获取预存物体类型信息所对应的硬度信息，并将该硬度信息与预设阈值进行比较，若小于预设阈值，则该物体属于材质较软、容易碎的物体，因此需在该硬度条件下选区比较合适的拾取组件类型。

步骤S104：控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取，并移动所述物体。具体的，机械手能够通过指令并使用拾取组件类型对应的拾取组件对物体进行拾取及搬运。

由此，通过物体的图像信息获取物体所属的类型，从而判断物体的软硬程度，并根据物体的软硬程度选择与其硬度对应的拾取组件类型，然后控制机械手使用该拾取组件类型拾取并运送物体，该种方式能够在一定程度上避免机械手由于拾取组件不标准及用力不当造成物体损坏的情况。

在具体实施中，所述步骤S104可以包括步骤S1041。

步骤S1041：根据所述参数信息，控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取。具体的，可以通过物体的体积、密度信息能够得到物体的质量信息，从而能够得到机械手抓取物体所用力的大小，便于机械手用适当的力抓取物体，保证了物体在运输过程中的完整性。

在具体实施中，参见图3，所述步骤S104后包括步骤S105。

步骤S105：获取所述物体的参数信息，所述参数信息包括以下至少一种：所述物体的体积信息、密度信息和质量信息。具体的，物体的参数信息能够通过摄像头采集的图像信息分析所得出，得知体积信息和密度信息后便能将质量信息计算出，从而为机械手拾取物体所用力的大小提供了判断依据。

在具体实施中，参见图4，所述参数信息包括体积信息；所述步骤S105可以包括步骤S1051～S1052。

步骤S1051：提取所述图像信息中不同角度下的所述物体的轮廓信息，并对轮廓信息进行模型建立。具体的，可将物体在不同角度下的轮廓信息进行提取从而构建模型，该模型的建立能够为后续计算物体的体积提供基础。

步骤S1052：计算所述模型的体积，以得到所述物体的体积信息。具体的，通过提取物体在不同角度下的轮廓信息，从而构建模型，能够精确的计算出物体的体积大小，从而为机械手的抓取力度提供了计算基础。

在具体实施中，参见图5，所述参数信息包括质量信息；所述步骤S105可以包括步骤S1053～S1054。

步骤S1053：获取所述图像信息中所述物体的纹理信息，并将该物体的纹理信息与预存纹理信息进行比对，以获取对应纹理物体的密度信息。具体的，提取物体表面的纹理特征信息，并将该纹理特征信息与预存纹理信息进行比，从而获得对应纹理物体的密度信息。

步骤S1054：根据所述体积信息和所述密度信息，计算得到所述物体的质量信息。具体的，通过提取物体的纹理信息，并与预存纹理信息进行比对，能够获得物体的密度信息，从而结合获得的体积信息计算得出物体的质量信息，进一步精确了机械手的抓取力度。

在具体实施中，参见图6，所述拾取组件设置有拾取面；所述步骤S104可以包括步骤S1042～S1043。

步骤S1042：控制所述机械手使用所述拾取组件伸入所述物体的下方，以使所述物体位于所述拾取面上。具体的，因机械手拾取的物体比较软，而且容易抓碎，便通过托举的方式，选取恰当的拾取组件伸入物体的下方，然后通过托举的方式将物体抬起并进行运输。

步骤S1043：控制所述机械手带动所述拾取组件上移从而带动所述物体上移，从而便于物体移动。具体的，通过物体的质量信息及硬度信息制定适合该物体的抓取方案即采用托举的方式运送物体，避免了普通机械手抓取物体时对物体造成的损伤。

参见图7，本申请实施例还提供了一种机械手控制装置，其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。

所述装置包括：图像获取模块401，用于获取待拾取的物体的图像信息；物体类型模块402，用于根据所述图像信息获取所述物体所属的类型；组件类型模块403，用于当检测到所述类型对应的硬度小于预设阈值时，获取所述硬度对应的拾取组件类型；机械手控制模块404，用于控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取，并移动所述物体。

参见图8，在具体实施中，所述拾取设备还设置有摄像头；所述图像获取模块401包括：摄像头控制单元4011，用于控制摄像头进行转动，并捕捉所述物体多角度下的图片；图像整合单元4012，用于将捕捉到的不同角度下的多张图片进行整合并生成所述图像信息。

参见图9，在具体实施中，所述装置还包括：参数获取模块405，用于获取所述物体的参数信息，所述参数信息包括以下至少一种：所述物体的体积信息、密度信息和质量信息；所述机械手控制模块404用于根据所述参数信息，控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取。

参见图10，在具体实施中，所述参数信息包括体积信息；所述参数获取模块405包括：轮廓提取单元4051，用于提取所述图像信息中不同角度下的所述物体的轮廓信息，并对轮廓信息进行模型建立；体积计算单元4052，用于计算所述模型的体积，以得到所述物体的体积信息。

参见图11，在具体实施中，所述参数信息包括质量信息；所述参数获取模块405包括：密度获取单元4053，用于获取所述图像信息中所述物体的纹理信息，并将该物体的纹理信息与预存纹理信息进行比对，以获取对应纹理物体的密度信息；质量计算单元4054，用于根据所述体积信息和所述密度信息，计算得到所述物体的质量信息。

参见图12，在具体实施中，所述拾取组件设置有拾取面；所述机械手控制模块404包括：拾取控制单元4041，用于控制所述机械手使用所述拾取组件伸入所述物体的下方，以使所述物体位于所述拾取面上；上移控制单元4042，用于控制所述机械手带动所述拾取组件上移从而带动所述物体上移，从而便于物体移动。

参见图13，本申请实施例还提供了一种拾取设备200，拾取设备200包括至少一个存储器210、至少一个处理器220、机械手和至少一种拾取组件以及连接不同平台系统的总线230。

存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(R AM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。

其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中机械手控制方法的步骤。存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

相应的，处理器220可以执行上述计算机程序，以及可以执行程序/实用工具214。

总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

拾取设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该拾取设备200交互的设备通信，和/ 或与使得该拾取设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，拾取设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器26 0可以通过总线230与拾取设备200的其它模块通信。应当明白，尽管图中未示出，可以结合拾取设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本申请实施例中机械手控制方法的步骤。图14示出了本实施例提供的用于实现上述方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品300不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(W AN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，其设置有的实用进步性，已符合专利法所强调的功能增进及使用要件，本申请以上的说明及附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。

Claims

1.一种机械手控制方法，其特征在于，应用于拾取设备，所述拾取设备设置有机械手和至少一种拾取组件，该方法包括：

获取待拾取的物体的图像信息，其中，所述物体是软质食品；

根据所述图像信息获取所述物体所属的类型；

控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取，并移动所述物体；

所述拾取组件设置有拾取面；

控制所述机械手带动所述拾取组件上移从而带动所述物体上移，从而便于物体移动，以使所述物体在运输过程中保持完整，避免变形或者损坏；

所述方法还包括：

获取所述物体的参数信息，所述参数信息包括：所述物体的体积信息、密度信息和质量信息；

根据所述参数信息，控制所述机械手使用所述拾取组件类型对应的拾取组件以相应的拾取力对所述物体进行拾取；

所述获取所述物体的体积信息，包括：

计算所述模型的体积，以得到所述物体的体积信息；

所述获取所述物体的质量信息，包括：

2.根据权利要求1所述的机械手控制方法，其特征在于，所述拾取设备还设置有摄像头；

所述获取待拾取的物体的图像信息，包括：

3.一种机械手控制装置，应用于拾取设备，所述拾取设备设置有机械手和至少一种拾取组件，其特征在于，所述装置包括：

图像获取模块，用于获取待拾取的物体的图像信息，其中，所述物体是软质食品；

机械手控制模块，用于控制所述机械手使用所述拾取组件类型对应的拾取组件对所述物体进行拾取，并移动所述物体；

所述拾取组件设置有拾取面；

所述机械手控制模块包括：

上移控制单元，用于控制所述机械手带动所述拾取组件上移从而带动所述物体上移，从而便于物体移动，以使所述物体在运输过程中保持完整，避免变形或者损坏；

所述装置还包括：

参数获取模块，用于获取所述物体的参数信息，所述参数信息包括：所述物体的体积信息、密度信息和质量信息；

所述机械手控制模块用于根据所述参数信息，控制所述机械手使用所述拾取组件类型对应的拾取组件以相应的拾取力对所述物体进行拾取；

所述参数获取模块包括：

体积计算单元，用于计算所述模型的体积，以得到所述物体的体积信息；

4.根据权利要求3所述的机械手控制装置，其特征在于，所述拾取设备还设置有摄像头；

所述图像获取模块包括：

5.一种拾取设备，其特征在于，所述拾取设备包括存储器、处理器、机械手和至少一种拾取组件，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-2任一项所述方法的步骤。

6.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-2任一项所述方法的步骤。