CN113146636A

CN113146636A - 一种物体抓取方法、装置及柔性机器人

Info

Publication number: CN113146636A
Application number: CN202110460597.8A
Authority: CN
Inventors: 毛世鑫
Original assignee: Shenzhen Inovic Education Technology Co ltd
Current assignee: HUBEI ELECTRIC POWER Co JINGZHOU POWER SUPPLY Co
Priority date: 2021-04-27
Filing date: 2021-04-27
Publication date: 2021-07-23
Anticipated expiration: 2041-04-27
Also published as: CN113146636B

Abstract

本发明实施例涉及机器人技术领域，特别涉及一种物体抓取方法，该方法包括：获取所需抓取货物的三视投影图；根据所述三视投影图计算所述货物的长、宽和高；根据所述货物的长、宽和高，调节气动夹爪的直径，并得到所述货物的最佳抓取部位。基于上述方式，该柔性机器人能够以最佳抓取直径和抓取方向抓取货物，从而使得抓取货物时更加稳定，避免货物掉落。

Description

一种物体抓取方法、装置及柔性机器人

技术领域

本发明实施例涉及机器人技术领域，特别是涉及一种物体抓取方法、装置及柔性机器人。

背景技术

柔性机器人由柔韧性材料制成，可在大范围内任意改变自身形状和尺寸，在侦察、探测、救援及医疗等领域都有广阔的应用前景。与传统的刚性机器人相比，柔性机器人有许多优点：对环境具有更好的适应性，通过变形可实现与障碍物的相容；通过主动变形可使机器人处于不同的形态并实现运动；主动变形与被动变形相结合，机器人可以穿过比自身常态尺寸小的缝隙，进入传统机器人无法进入的空间；能够模仿自然界中动物的运动模式，适应人类不能到达的环境，扩大人类的探索领域。

具有气动夹爪的柔性机器人可以模拟人类的手，抓取一些容易损坏的货物，如：玻璃或者陶瓷制品、部分容易损伤的水果(苹果、桃、梨)、或者蛋类。但是现有技术中缺少一种适用于此类柔性机器人，能够识别货物类型，并根据货物的形状选取最佳抓取方式的方法。

发明内容

鉴于上述问题，本发明提供了一种物体抓取方法，能够识别货物类型，并根据货物的形状选取最佳抓取方式。

根据本发明实施例的一个方面，提供了一种物体抓取方法，包括：

获取所需抓取货物的三视投影图；

根据所述三视投影图计算所述货物的长、宽和高；

根据所述货物的长、宽和高，调节气动夹爪的直径，并得到所述货物的最佳抓取部位。

在一种可选的方式中，所述获取所需抓取货物的三视投影图的步骤具体包括：

对所需抓取的货物进行拍摄，获取所述货物的三视图；

对所述三视图进行二值化，提取所述货物的三视投影图。

在一种可选的方式中，所述根据所述三视投影图计算所述货物的长、宽和高的步骤具体包括：

根据所述三视投影图分别做二次投影和统计，分别确定所述货物的长、宽和高。

在一种可选的方式中，所述根据所述货物的长、宽和高，调节气动夹爪的直径，并得到所述货物的最佳抓取部位的步骤具体包括：

获取所述气动夹爪的最大可调节直径；

判断所述货物的长、宽和高中是否存在小于等于所述最大可调节直径的最大值；

若是，则根据所述最大值对应的方向，得到所述气动夹爪的抓取方向；

若否，则放弃抓取所述货物；

判断R＝(D-V)/D≤20％是否成立，其中，R为判定是否可以直接抓取所述货物的参数，D为所述气动夹爪的抓取直径，V为所述货物的长、宽和高中小于等于所述最大可调节直径的最大值；

若是，则抓取所述货物

若否，则逐渐缩小所述气动夹爪的直径，使得所述R＝20％，抓取所述货物。

根据本发明实施例的一个方面，提供了一种物体抓取装置，包括：

获取单元，用于获取所需抓取货物的三视投影图；

计算单元，用于根据所述三视投影图计算所述货物的长、宽和高；

得到单元，用于根据所述货物的长、宽和高，调节气动夹爪的直径，并得到所述货物的最佳抓取部位。

在一种可选的方式中，所述得到单元具体包括：获取模块，用于获取所述气动夹爪的最大可调节直径；第一判断模块，用于判断所述货物的长、宽和高中是否存在小于等于最大可调节直径的最大值；得到模块，用于根据所述最大值对应的方向，得到所述气动夹爪的抓取方向；放弃模块，用于放弃抓取所述模块；第二判断模块，用于判断R＝(D-V)/D≤20％是否成立；抓取模块，用于抓取所述货物；缩小模块，用于逐渐缩小所述气动夹爪的直径，使得所述R＝20％，抓取所述货物。

根据本发明实施例的一个方面，提供了一种柔性机器人，包括：摄像头、气动夹爪和至少一个处理器以及存储器，其中，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的抓取方法。

根据本发明实施例的一个方面，提供了一种计算机程序产品，包括：存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的抓取方法。

本发明实施例的有益效果是：提供了一物体抓取方法包括：获取所需抓取货物的三视投影图；根据所述三视投影图计算所述货物的长、宽和高；根据所述货物的长、宽和高，调节气动夹爪的直径，并得到所述货物的最佳抓取部位。基于这种方式使得柔性机器人能够以最佳抓取直径和抓取方向抓取货物，从而使得抓取货物时更加稳定，避免货物掉落。

附图说明

图1是本发明实施例提供的物体抓取方法的流程示意图；

图2是本发明实施例中以苹果为例的三视投影图；

图3是本发明实施例中对苹果的三视投影图进行二次投影和统计的示意图；

图4是本发明实施例提供的物体抓取方法中步骤S103的子流程示意图；

图5是本发明实施例提供的一种物体抓取装置的结构示意；

图6是本发明实施例提供的一种柔性机器人的结构示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“垂直的”、“水平的”、“左”、“右”、“内”、“外”以及类似的表述只是为了说明的目的。

除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明在气压驱动多气囊式柔性机器人的基础上，研制一种物体抓取方法，能够识别货物类型，并根据货物的形状选取最佳抓取方式。气压驱动多气囊式柔性机器人，包括摄像头、控制器和气动夹爪，摄像头和气动夹爪均与控制器电连接。摄像头用于获取货物的图片，气动夹爪用于抓取获取。多气囊软体机器人的气动夹爪由气压驱动，根据气囊内部气压的变化，使得气动夹爪产生不同程度的变形。当多个气动夹爪同时向内收缩时，即可完成货物的抓取；当气动夹爪同时向外舒展时，即可释放货物。视觉控制是在气动夹爪上安装摄像头，通过识别视野中的货物，确定货物的轮廓特征，找出货物的最佳抓取部位。

请参阅图1，本发明实施例提供一种物体抓取方法，包括但不限于：

S101，获取所需抓取货物的三视投影图。

通过安装于气动夹爪的摄像头，分别从正面、侧面和俯瞰面，对所需抓取的货物进行拍摄，获取该货物的三视图，对三视图进行二值化，提取所述货物的三视投影图。

以苹果为例，所述苹果的三视投影图参加图2

具体的，首先对所述三视图进行图像二值化处理，即，采用otsu算法(也叫最大类间方差法)按三视图的灰度特性，将三视图分成背景和前景两个部分。背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大。记t为前景与背景的分割阈值，前景点数占图像比例为w₀，平均灰度为u₀；背景点数占图像比例为w₁，平均灰度为u₁。则图像的总平均灰度为：u＝w₀×u₀+w₁×u₁

前景和背景图象的方差：g＝w₀×(u₀-u)²+w₁×(u₁-u)²＝w₀×w₁×(u₀-u₁)²

在灰度级为256的一张图像中，t的取值为[1,254]，每个t的取值都能够计算出前景图像和背景图象的方差g，在t＝[1,254]中找到方差g取得最大值时对应的阈值t₁，则t₁即为单张图像用于目标分割的最佳阈值。使用上述阈值t₁将前景图像和背景图像分割，前景图像为货物的三视投影图。

S102，根据所述三视投影图计算所述货物的长、宽和高。

具体的，根据三视投影图分别做二次投影和统计，可以分别确定货物的长、宽和高。以苹果的主视图256*256为例，二次投影和统计的方法如下：

如图3所示，苹果主视图朝水平和垂直方向，分别做2次投影能够得到两个方向的投影直方图。

投影直方图：H_i＝count(pixel[i]＝＝black)，统计投影方向每行/列的黑色像素个数。

主视图的垂直投影方向图，单峰所在区间，即为苹果的长度；

主视图的水平投影方向图，单峰所在区间，即为苹果的高度。

因此，侧视图和俯瞰图以此类推，可以进一步得到苹果的宽度。

问题核心在于，通过投影直方图，确定单峰所在区间，即确定货物的尺寸。

如找到一个区间[a,b]，0<a<b<256，使得HT取得最大值，[a,b]即为单峰区间。

主视图可以得到货物的长度L和高度H；

侧视图可以得到货物的宽度W和高度H；

俯视图可以得到货物的长度L和宽度W。

L、W、H各有两个值，取平均后得到货物最终的长L’、宽W’和高H’。

S103,根据所述货物的长、宽和高，调节气动夹爪的直径，并得到所述货物的最佳抓取部位。

具体的，如图4所示所述步骤S103具体包括：

步骤S1031，获取所述气动夹爪的最大可调节直径Dmax。

该气动夹爪具有三个气动手指，该三个气动手指位于同一圆形轨迹上，当三个气动手指可相互靠拢或者远离，当远离至最远处时，三个气动手指所位于的圆形轨迹对应的直径即为，最大可调节直径Dmax。

步骤S1032，判断所述货物的长、宽和高中是否存在小于等于最大可调节直径Dmax的最大值V，若是，则进入S1033；若否则进入步骤S1034。

具体的，例如，长L’、宽W’和高H’中，L’和W’小于等于Dmax，H’大于Dmax，并且L’大于W’，则最大值V为长L’。

步骤S1033，根据所述最大值V对应的方向，得到所述气动夹爪的抓取方向。

具体的，找到最大值V对应所述货物的长、宽和高中的哪一个，该最大值V的垂直方向是气动夹爪最适合抓取的方向。

步骤S1034，若否，则放弃抓取所述货物。

若不存在最大值V，说明长L’、宽W’和高H’均大于最大可调节直径Dmax，说明货物过大，长、宽和高均超出夹爪的最大直径，无法被抓取。

步骤S1035，判断R＝(D-V)/D≤20％是否成立；若是，则进入步骤S1036，否则进入步骤S1037。

其中，R为判定是否可以直接抓取所述货物的参数，D为所述气动夹爪的抓取直径，V为所述货物的长、宽和高中小于等于所述最大可调节直径的最大值。

步骤S1036，抓取所述货物。

具体的，根据货物的长宽高，能够确定最佳抓取方式，即为货物被抓取时，越大的体积被包含在收缩状态的气动夹爪内，货物就越“安全”，说明抓取越稳；但是，当货物被完全包含在收缩状态的气动夹爪内时，可能并不是最“安全”的，气动夹爪内部可能多出许多空间，需要调节气动夹爪的直径，以自适应货物尺寸。由于R≤20％，说明当前选择的抓取方向和夹爪直径D，能够较好的抓取货物。

步骤S1037，逐渐缩小所述气动夹爪的抓取直径D，使得所述R＝20％，抓取所述货物。

具体的，当R大于20％时，说明当前夹爪直径过大，需要缩小夹爪，逐渐缩小气动夹爪的抓取直径D，直到R≤20％，能够较好的抓取所述货物。

实施本发明实施例，柔性机器人中集成物体抓取方法，该物体抓取方法对应一种应用程序，当柔性机器人获取货物的三视图后，将所述三视图进行二值化，提取所述货物的三视投影图，并计算出所述货物的长、宽和高，选择所述货物的长、宽和高中小于等于气动夹爪的最大可调节直径的最大值，以最大值的垂直方向作为最合适的抓取方向，并条件所述气动夹爪的抓取直径D获得最佳抓取直径。这种方式不仅可以避免抓取尺寸过大的货物，还可以以最佳抓取直径和抓取方向抓取货物，从而使得抓取货物时更加稳定，避免货物掉落。

请参照图5，为本发明实施例提供的一种物体抓取装置100的结构示意图，如图3所示，本发明实施例的物体抓取装置100可以包括：

获取单元10，用于获取所需抓取货物的三视投影图。

具体的，通过安装于气动夹爪的摄像头，分别从正面、侧面和俯瞰面，对所需抓取的货物进行拍摄，获取该货物的三视图，对三视图进行二值化，提取所述货物的三视投影图。

计算单元20，用于根据所述三视投影图计算所述货物的长、宽和高。具体的，根据三视投影图分别做二次投影和统计，可以分别确定货物的长、宽和高。

得到单元30，用于根据所述货物的长、宽和高，调节气动夹爪的抓取直径，并得到所述货物的最佳抓取部位。

具体的，得到单元30具体包括：

获取模块，用于获取所述气动夹爪的最大可调节直径Dmax。

第一判断模块，用于判断所述货物的长、宽和高中是否存在小于等于最大可调节直径Dmax的最大值V。

得到模块，用于根据所述最大值V对应的方向，得到所述气动夹爪的抓取方向。

放弃模块，放弃抓取所述货物。

第二判断模块，用于判断R＝(D-V)/D≤20％是否成立。

抓取模块，用于抓取所述货物；

缩小模块，用于逐渐缩小所述气动夹爪的抓取直径，使得所述R＝20％，抓取所述货物。

请参照图6，为本发明实施例提供的一种柔性机器人的结构示意图，如图6所示，所述柔性机器人1000可以包括：摄像头、气动夹爪和至少一个处理器1001，例如CPU，至少一个通信接口1003，存储器1004，至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。通信接口1003可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatilememory)，例如至少一个磁盘存储器。存储器1004可选的还可以是至少一个位于远离前述处理器1001的存储装置。作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块以及程序指令。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

本发明实施例提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被电子设备执行上述任意方法实施例中的抓取方法。

本发明实施例提供了一种计算机程序产品，包括存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述任意方法实施例中的抓取方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件来实现。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种物体抓取方法，其特征在于，包括：

获取所需抓取货物的三视投影图；

根据所述三视投影图计算所述货物的长、宽和高；

2.根据权利要求1所述的物体抓取方法，其特征在于，所述获取所需抓取货物的三视投影图的步骤具体包括：

对所需抓取的货物进行拍摄，获取所述货物的三视图；

对所述三视图进行二值化，提取所述货物的三视投影图。

3.根据权利要求2所述的物体抓取方法，其特征在于，所述根据所述三视投影图计算所述货物的长、宽和高的步骤具体包括：

4.根据权利要求3所述的物体抓取方法，其特征在于，所述根据所述货物的长、宽和高，调节气动夹爪的直径，并得到所述货物的最佳抓取部位的步骤具体包括：

获取所述气动夹爪的最大可调节直径；

若否，则放弃抓取所述货物；

若是，则抓取所述货物；

5.一种物体抓取装置，其特征在于，包括：

获取单元，用于获取所需抓取货物的三视投影图；

6.根据权利要求5所述的物体抓取装置，其特征在于，所述得到单元具体包括：获取模块，用于获取所述气动夹爪的最大可调节直径；第一判断模块，用于判断所述货物的长、宽和高中是否存在小于等于最大可调节直径的最大值；得到模块，用于根据所述最大值对应的方向，得到所述气动夹爪的抓取方向；放弃模块，用于放弃抓取所述模块；第二判断模块，用于判断R＝(D-V)/D≤20％是否成立；抓取模块，用于抓取所述货物；缩小模块，用于逐渐缩小所述气动夹爪的直径，使得所述R＝20％，抓取所述货物。

7.一种柔性机器人，其特征在于，包括摄像头、气动夹爪和至少一个处理器以及存储器，其中，所述存储器与所述至少一个处理器通信连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

8.一种计算机程序产品，其特征在于，包括：存储在非易失性计算机可读存储介质上的计算程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时时，使所述计算机执行上述权利要求1-4中任一项所述的方法。