CN117697768A - 一种目标抓取方法、机器人、电子设备和存储介质 - Google Patents
一种目标抓取方法、机器人、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117697768A CN117697768A CN202410165363.4A CN202410165363A CN117697768A CN 117697768 A CN117697768 A CN 117697768A CN 202410165363 A CN202410165363 A CN 202410165363A CN 117697768 A CN117697768 A CN 117697768A
- Authority
- CN
- China
- Prior art keywords
- targets
- distance information
- grabbing
- candidate
- grabbed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000008569 process Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 abstract description 14
- 238000009826 distribution Methods 0.000 abstract description 6
- 238000006073 displacement reaction Methods 0.000 description 22
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本申请涉及智能机器人领域,具体而言,涉及一种目标抓取方法、机器人、电子设备和存储介质,其中目标抓取方法包括:获取图像信息;获取第一距离信息;以最小的第一距离信息对应的两个目标作为候选抓取目标;获取第二距离信息;抓取候选抓取目标;以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标;重复执行步骤直至抓取所有目标。本申请的目标抓取方法能解决现有的目标抓取方法在需要对大量分布不均的目标进行抓取的场景下抓取速度慢及生产效率低的问题,能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
Description
技术领域
本申请涉及智能机器人领域,具体而言,涉及一种目标抓取方法、机器人、电子设备和存储介质。
背景技术
现有的机械臂抓取多个目标的方法一般为识别目标,并按照固定路径依次对多个目标进行抓取。但是,在工业生产操作中常常出现如水果分拣等需要对大量分布不均的目标进行抓取的场景,此时若仍使用按照固定路径抓取的抓取方法,则可能需要频繁调整机械臂的参数,导致抓取速度慢且生产效率低。
因此,现有技术有待改进和发展。
发明内容
本申请的目的在于提供一种目标抓取方法、机器人、电子设备和存储介质,旨在解决现有的目标抓取方法在需要对大量分布不均的目标进行抓取的场景下抓取速度慢及生产效率低的问题。
第一方面,本申请提供了一种目标抓取方法,应用于机械臂,包括以下步骤:
S1.获取包含多个目标的图像信息,图像信息包括多个划分好的图像区域,每个图像区域只包含一个目标;
S2.根据图像信息获取两两目标之间的第一距离信息;
S3.以最小的第一距离信息对应的两个目标作为候选抓取目标;
S4.根据第一距离信息分别获取两个候选抓取目标对应的第二距离信息,第二距离信息为候选抓取目标和与之对应的前k个第一距离信息最小的目标之间的均值距离信息,其中k为正整数,当n小于待抓取的目标的数量时,k的值为n,当n大于等于待抓取的目标的数量时,k的值为待抓取的目标的数量减一,其中n为预设值;
S5.在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标;
在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标;
S6.当待抓取的目标的数量大于等于2时,以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,执行步骤S7,当待抓取的目标的数量小于2时,抓取余下候选抓取目标;
S7.重复执行步骤S4-S6直至抓取所有目标。
本申请提供的目标抓取方法,以最小的第一距离信息对应的两个目标作为候选抓取目标,能在不改变机械臂位移路径的情况下提高两个候选抓取目标都位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标,能使余下的候选抓取目标的第二距离信息更小,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标,能尽量减小目标抓取方法在仅考虑目标之间的距离时产生的影响;并且本申请以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
可选地,n∈[2,φ-1],其中φ为图像信息中待抓取的目标的数量。
可选地,步骤S5中,抓取两个候选抓取目标中的一个目标的过程中,抓取第二距离信息较大的候选抓取目标的概率大于抓取第二距离信息较小的候选抓取目标的概率。
可选地,步骤S2中,根据图像信息获取两两目标之间的第一距离信息的过程包括:
A1.根据两两图像区域的几何中心之间的距离获取两两目标之间的第一距离信息。
可选地,步骤S1中,图像区域的形状为凸多边形或圆,步骤S2中,根据图像信息获取两两目标之间的第一距离信息的过程包括:
B1.根据两两图像区域的几何中心之间的距离获取中心距离信息;
B2.根据两两图像区域的几何中心之间的线段与对应的两个图像区域的两个交点之间的距离获取边缘距离信息;
B3.根据中心距离信息和边缘距离信息获取两两目标之间的第一距离信息。
在该实施方式中,本申请的目标抓取方法根据中心距离信息和边缘距离信息获取两两目标之间的第一距离信息,能将两两目标中心之间的距离和边缘之间的距离都作为获取两两目标之间的第一距离信息的依据,从而能使获取的第一距离信息更准确。
可选地,步骤S1中,图像区域彼此不重叠,步骤B3中,根据中心距离信息和边缘距离信息获取两两目标之间的第一距离信息的公式为:di,j=αd1+βd2,其中di,j为第一距离信息,d1为中心距离信息,d2为边缘距离信息,α和β分别为d1和d2的权重参数,0<α≤1,0≤β<1,α与β之和为1,α>β。
在该实施方式中,本申请的目标抓取方法使中心距离信息d1的权重参数α大于边缘距离信息d2的权重参数β,能使获取的第一距离信息中中心距离信息d1的权重高于边缘距离信息d2的权重,从而能使获取的第一距离信息更准确。
可选地,图像区域的形状为该图像包含的目标的最小外接矩形。
第二方面,本申请还提供了一种机器人,包括:
相机,用于拍摄包含多个目标的图像;
机械臂,用于执行如上任一目标抓取方法以抓取目标。
本申请提供的机器人,以最小的第一距离信息对应的两个目标作为候选抓取目标,能在不改变机械臂位移路径的情况下提高两个候选抓取目标都位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标,能使余下的候选抓取目标的第二距离信息更小,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标,能尽量减小目标抓取方法在仅考虑目标之间的距离时产生的影响;并且本申请以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
第三方面,本申请提供一种电子设备,包括处理器和存储器,存储器存储有处理器可执行的计算机程序,处理器执行计算机程序时,运行如上任一目标抓取方法中的步骤。
第四方面,本申请提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时运行如上任一目标抓取方法中的步骤。
由上可知,本申请提供了一种目标抓取方法、机器人、电子设备和存储介质,其中本申请提供的目标抓取方法,以最小的第一距离信息对应的两个目标作为候选抓取目标,能在不改变机械臂位移路径的情况下提高两个候选抓取目标都位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标,能使余下的候选抓取目标的第二距离信息更小,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标,能尽量减小目标抓取方法在仅考虑目标之间的距离时产生的影响;并且本申请以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
本申请的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请实施例提供的目标抓取方法的流程图。
图2为本申请实施例提供的电子设备的结构示意图。
标号说明: 301、处理器;302、存储器;303、通信总线。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
第一方面,如图1所示,本申请提供了一种目标抓取方法,应用于机械臂,包括以下步骤:
S1.获取包含多个目标的图像信息,图像信息包括多个划分好的图像区域,每个图像区域只包含一个目标;
S2.根据图像信息获取两两目标之间的第一距离信息;
S3.以最小的第一距离信息对应的两个目标作为候选抓取目标;
S4.根据第一距离信息分别获取两个候选抓取目标对应的第二距离信息,第二距离信息为候选抓取目标和与之对应的前k个第一距离信息最小的目标之间的均值距离信息,其中k为正整数,当n小于待抓取的目标的数量时,k的值为n,当n大于等于待抓取的目标的数量时,k的值为待抓取的目标的数量减一,其中n为预设值;
S5.在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标;
在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标;
S6.当待抓取的目标的数量大于等于2时,以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,执行步骤S7,当待抓取的目标的数量小于2时,抓取余下候选抓取目标;
S7.重复执行步骤S4-S6直至抓取所有目标。
具体地,在本申请中,被抓取的候选抓取目标会被去除。
步骤S1中,包含多个目标的图像信息为包含多个目标的图像。获取图像信息的方法可以是通过相机拍摄获取包含多个目标的图像,通过现有的图像跟踪算法识别图像中的目标,并根据图像中目标的位置划分出多个图像区域以使每个图像区域只包含一个目标,也可以是现有的其他能获取符合要求的图像信息的方法。
步骤S2中,两两目标之间的第一距离信息为两两目标之间的距离,获取第一距离信息的方法可以是根据图像信息建立二维坐标系,确定图像信息中目标的坐标并根据各个目标的坐标计算两两目标之间的第一距离信息,也可以是现有的其他能根据图像信息获取两两目标之间的第一距离信息的方法。
步骤S4中,均值距离信息为距离的均值。
步骤S5中,预设阈值可以根据需要设置。
更具体地,步骤S3中,以最小的第一距离信息对应的两个目标作为候选抓取目标,能在不改变机械臂位移路径的情况下,提高两个候选抓取目标都位于机械臂抓取范围内的概率,从而能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
更具体地,步骤S4中,n为预设值,且若n大于等于待抓取的目标的数量,则将候选抓取目标和与之对应的第一距离信息最小且数量为待抓取的目标的数量减一的目标之间的均值距离信息作为第二距离信息。
更具体地,对于机械臂的参数调整频率而言,在两个第二距离信息的差值较大时目标之间的距离是主要影响因素,目标之间的方位等是次要影响因素,因此步骤S5中,在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标,能在两个第二距离信息的差值较大时使余下的候选抓取目标的第二距离信息更小,提高后续抓取过程中新的候选抓取目标密集分布的概率,即在不改变机械臂位移路径的情况下,提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低后续抓取过程中机械臂参数的调整频率,加快抓取速度并提高生产效率。
更具体地,步骤S5中,抓取两个候选抓取目标中的一个目标的方法,可以是随机抓取两个候选抓取目标中的任一目标,也可以是按照其他现有的抽样方法抓取两个候选抓取目标中的一个目标。在两个第二距离信息的差值较小时,无论抓取哪个候选抓取目标,对于后续抓取过程中机械臂是否需要调节参数的影响都不大,因此目标之间的距离对于机械臂的参数调整频率的重要程度降低,次要影响因素对于提高抓取效率的重要程度提高,因此步骤S5中,在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标,能在两个第二距离信息差值较小时,尽量减小目标抓取方法在仅考虑目标之间的距离时产生的影响。
更具体地,步骤S6中,以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,则余下的候选抓取目标与已被抓取的候选抓取目标的第一距离信息小,且两个新的候选抓取目标之间的第一距离信息小,能在不改变机械臂位移路径的情况下,提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
更具体地,第二距离信息能反映对应目标与邻近目标分布的密集程度,本申请以第二距离信息作为选择及抓取依据,并将余下的目标及与其第一距离最小的目标作为候选抓取目标,能持续趋向于对分布更密集的目标进行选择抓取,实现每次抓取操作都抓取相互之间距离最小的两个目标中的一个,同时使另一个目标与下一个被抓取的目标之间距离尽可能小,以尽量降低机械臂参数的调整频率,进行高效抓取。
本申请提供的目标抓取方法,以最小的第一距离信息对应的两个目标作为候选抓取目标,能在不改变机械臂位移路径的情况下提高两个候选抓取目标都位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标,能使余下的候选抓取目标的第二距离信息更小,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标,能尽量减小目标抓取方法在仅考虑目标之间的距离时产生的影响;并且本申请以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
在一些优选的实施方式中,n∈[2,φ-1],其中φ为图像信息中待抓取的目标的数量。
具体地,步骤S4中,当n为2时,第二距离信息为候选抓取目标和与之对应的第一距离信息最小的两个目标之间的均值距离信息,由于两个候选抓取目标之间的第一距离信息最小,两个候选抓取目标的第二距离信息的计算过程中都包含彼此之间的第一距离信息,因此决定两个第二距离信息大小的是两个候选抓取目标各自对应的第一距离信息第二小的目标;而步骤S5抓取的候选抓取目标是与余下候选抓取目标距离最小的目标,因此步骤S4中与其中一个候选抓取目标对应的第一距离信息第二小的目标,即为步骤S6中与余下候选抓取目标对应的第一距离信息最小的目标。因此该实施方式将两个候选抓取目标各自对应的第一距离信息第二小的目标作为第二距离信息的判断依据,能尽可能使抓取候选抓取目标后新的候选抓取目标之间的第一距离信息,比起抓取另一个候选抓取目标后新的候选抓取目标之间的第一距离信息是更小的一方,从而能在不改变机械臂位移路径的情况下,提高下一次抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低下一次抓取过程中机械臂参数的调整频率,加快抓取速度并提高生产效率。
但是,由于该实施方式只考虑降低下一次抓取过程中机械臂参数的调整频率,具有一定的不稳定性,容易陷入局部最优解,因此在本实施方式中,根据情况调节n的值,使n位于[2,φ-1]区间内,能尽量避免陷入局部最优解。
在一些优选的实施方式中,步骤S5中,在抓取两个候选抓取目标中的一个目标的过程中,抓取第二距离信息较大的候选抓取目标的概率大于抓取第二距离信息较小的候选抓取目标的概率。
具体地,实现抓取第二距离信息较大的候选抓取目标的概率大于抓取第二距离信息较小的候选抓取目标的概率的方法,可以是现有的能使抓取第二距离信息较大的候选抓取目标概率更高的抽样方法,在本实施方式中本申请将两个候选抓取目标分别作为第一目标和第二目标,抽取一个位于[0,1]区间内的随机数ζ,若ζ∈[0,df/(df+ds)],则抓取第一目标,否则抓取第二目标,其中df为第一目标对应的第二距离信息,ds为第二目标对应的第二距离信息。当df大于等于ds时,0.5≤df/(df+ds)<1,因此[0,1]区间内的随机数ζ位于[0,df/(df+ds)]区间内的概率大于ζ位于(df/(df+ds),1]区间内的概率,即抓取第一目标的概率高于抓取第二目标;当df小于ds时,0<df/(df+ds) <0.5,因此[0,1]区间内的随机数ζ位于[0,df/(df+ds)]区间内的概率小于ζ位于(df/(df+ds),1]区间内的概率,即抓取第二目标的概率高于抓取第一目标。因此,该实施方式能实现抓取第二距离信息较大的候选抓取目标的概率大于抓取第二距离信息较小的候选抓取目标的概率,更倾向于抓取第二距离信息更大的候选抓取目标,但同时保留抓取第二距离更小的候选抓取目标的可能性。
在该实施方式中,本申请的目标抓取方法倾向于抓取第二距离信息更大的候选抓取目标,同时保留抓取第二距离信息更小的候选抓取目标的可能性,能实现尽量减小目标抓取方法在仅考虑目标之间的距离时产生的影响。
在一些优选的实施方式中,步骤S2中,根据图像信息获取两两目标之间的第一距离信息的过程包括:
A1.根据两两图像区域的几何中心之间的距离获取两两目标之间的第一距离信息。
具体地,由于每个区域只包含一个目标,因此图像区域能表征其包含的目标的位置,两个图像区域几何中心之间的距离能表征该两个图像区域包含的两个目标中心之间的距离,继而能表征该两个图像区域包含的两个目标之间的第一距离信息。在该实施方式中,本申请的目标抓取方法根据两两图像区域的几何中心之间的距离获取第一距离信息,能简便地从图像信息中获取两两目标之间的第一距离信息。
在一些优选的实施方式中,步骤S1中,图像区域的形状为凸多边形或圆,步骤S2中,根据图像信息获取两两目标之间的第一距离信息的过程包括:
B1.根据两两图像区域的几何中心之间的距离获取中心距离信息;
B2.根据两两图像区域的几何中心之间的线段与对应的两个图像区域的两个交点之间的距离获取边缘距离信息;
B3.根据中心距离信息和边缘距离信息获取两两目标之间的第一距离信息。
具体地,虽然两个图像区域几何中心之间的距离能表征该两个图像区域包含的两个目标中心之间的距离,但在目标中心之间的距离不远大于目标的长度或宽度的场景下,无法将目标直接视作质点,因此在该场景下直接将两个图像区域几何中心之间的距离作为该两个图像区域包含的两个目标之间的第一距离信息不够准确,需要将目标的长度或宽度也纳入考虑范围。
更具体地,两个形状为凸多边形或圆的图像区域的几何中心之间的线段与该两个图像区域具有两个交点,该两个交点之间的线段没有位于该两个图像区域包含的目标轮廓内的部分,因此两个图像区域的几何中心之间的线段与该两个图像区域的两个交点之间的距离能表征该两个图像区域包含的两个目标边缘之间的距离。
更具体地,步骤B3中,根据中心距离信息和边缘距离信息获取两两目标之间的第一距离信息,能将两两目标中心之间的距离和边缘之间的距离都作为获取两两目标之间的第一距离信息的依据,从而能使获取的第一距离信息更准确。
在该实施方式中,本申请的目标抓取方法根据中心距离信息和边缘距离信息获取两两目标之间的第一距离信息,能将两两目标中心之间的距离和边缘之间的距离都作为获取两两目标之间的第一距离信息的依据,从而能使获取的第一距离信息更准确。
在一些优选的实施方式中,步骤S1中,图像区域彼此不重叠,步骤B3中,根据中心距离信息和边缘距离信息获取两两目标之间的第一距离信息的公式为:di,j=αd1+βd2,其中di,j为第一距离信息,d1为中心距离信息,d2为边缘距离信息,α和β分别为d1和d2的权重参数,0<α≤1,0≤β<1,α与β之和为1,α>β。
具体地,对于两个目标之间的第一距离信息而言,中心距离信息为决定该第一距离信息大小的主要因素,边缘距离信息为决定该第一距离信息大小的次要因素,因此,在该实施方式中,本申请的目标抓取方法使中心距离信息d1的权重参数α大于边缘距离信息d2的权重参数β,能使获取的第一距离信息中中心距离信息d1的权重高于边缘距离信息d2的权重,从而能使获取的第一距离信息更准确。
在一些优选的实施方式中,图像区域的形状为该图像包含的目标的最小外接矩形。
在该实施方式中,本申请的目标抓取方法将图像区域的形状设置为该图像包含的目标的最小外接矩形,能使图像区域更准确地表征该图像区域包含的目标的轮廓,使得图像区域的几何中心更准确地表征该图像区域包含的目标的中心,从而能使根据两两图像区域的几何中心之间的距离获取的两两目标之间的第一距离信息更准确;此外,在目标抓取方法包含步骤B1-B3的实施方式中,由于两两图像区域的几何中心之间的线段与对应的两个图像区域的两个交点在图像区域的轮廓上,且在该实施方式中图像区域能更准确地表征该图像区域包含的目标的轮廓,因此在该实施方式中,本申请的目标抓取方法能使获取的边缘距离信息更准确,从而能使根据中心距离信息和边缘距离信息获取的两两目标之间的第一距离信息更准确。
第二方面,本申请提供了一种机器人,包括:
相机,用于拍摄包含多个目标的图像;
机械臂,用于执行如上任一目标抓取方法以抓取目标。
本申请提供的机器人,以最小的第一距离信息对应的两个目标作为候选抓取目标,能在不改变机械臂位移路径的情况下提高两个候选抓取目标都位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标,能使余下的候选抓取目标的第二距离信息更小,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标,能尽量减小目标抓取方法在仅考虑目标之间的距离时产生的影响;并且本申请以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
第三方面,如图2所示,本申请提供一种电子设备,包括处理器301和存储器302,处理器301和存储器302通过通信总线303和/或其他形式的连接机构(未标出)互连并相互通讯,存储器302存储有处理器301可执行的计算机程序,当电子设备运行时,处理器301执行该计算机程序,以执行上述实施例的任一可选的实现方式中的目标抓取方法,以实现以下功能:S1.获取包含多个目标的图像信息,图像信息包括多个划分好的图像区域,每个图像区域只包含一个目标;S2.根据图像信息获取两两目标之间的第一距离信息;S3.以最小的第一距离信息对应的两个目标作为候选抓取目标;S4.根据第一距离信息分别获取两个候选抓取目标对应的第二距离信息,第二距离信息为候选抓取目标和与之对应的前k个第一距离信息最小的目标之间的均值距离信息,其中k为正整数,当n小于待抓取的目标的数量时,k的值为n,当n大于等于待抓取的目标的数量时,k的值为待抓取的目标的数量减一,其中n为预设值;S5.在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标;在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标;S6.当待抓取的目标的数量大于等于2时,以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,执行步骤S7,当待抓取的目标的数量小于2时,抓取余下候选抓取目标;S7.重复执行步骤S4-S6直至抓取所有目标。
第四方面,本申请实施例提供一种存储介质,其上存储有计算机程序,计算机程序被处理器执行时,执行上述实施例的任一可选的实现方式中的目标抓取方法,以实现以下功能:S1.获取包含多个目标的图像信息,图像信息包括多个划分好的图像区域,每个图像区域只包含一个目标;S2.根据图像信息获取两两目标之间的第一距离信息;S3.以最小的第一距离信息对应的两个目标作为候选抓取目标;S4.根据第一距离信息分别获取两个候选抓取目标对应的第二距离信息,第二距离信息为候选抓取目标和与之对应的前k个第一距离信息最小的目标之间的均值距离信息,其中k为正整数,当n小于待抓取的目标的数量时,k的值为n,当n大于等于待抓取的目标的数量时,k的值为待抓取的目标的数量减一,其中n为预设值;S5.在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标;在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标;S6.当待抓取的目标的数量大于等于2时,以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,执行步骤S7,当待抓取的目标的数量小于2时,抓取余下候选抓取目标;S7.重复执行步骤S4-S6直至抓取所有目标。其中,计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(StaticRandomAccessMemory,简称SRAM),电可擦除可编程只读存储器(ElectricallyErasableProgrammableRead-OnlyMemory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammableReadOnlyMemory,简称EPROM),可编程只读存储器(ProgrammableRed-OnlyMemory,简称PROM),只读存储器(Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。
由上可知,本申请提供了一种目标抓取方法、机器人、电子设备和存储介质,其中本申请提供的目标抓取方法,以最小的第一距离信息对应的两个目标作为候选抓取目标,能在不改变机械臂位移路径的情况下提高两个候选抓取目标都位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标,能使余下的候选抓取目标的第二距离信息更小,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率;并且本申请在两个第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标,能尽量减小目标抓取方法在仅考虑目标之间的距离时产生的影响;并且本申请以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,在不改变机械臂位移路径的情况下提高后续抓取过程中新的候选抓取目标位于机械臂抓取范围内的概率,从而能降低机械臂参数的调整频率,加快抓取速度并提高生产效率。
在本申请所提供的实施例中,应该理解到,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种目标抓取方法,应用于机械臂,其特征在于,包括以下步骤:
S1.获取包含多个目标的图像信息,所述图像信息包括多个划分好的图像区域,每个图像区域只包含一个目标;
S2.根据所述图像信息获取两两目标之间的第一距离信息;
S3.以最小的第一距离信息对应的两个目标作为候选抓取目标;
S4.根据所述第一距离信息分别获取两个候选抓取目标对应的第二距离信息,所述第二距离信息为所述候选抓取目标和与之对应的前k个第一距离信息最小的目标之间的均值距离信息,其中k为正整数,当n小于待抓取的目标的数量时,k的值为n,当n大于等于待抓取的目标的数量时,k的值为待抓取的目标的数量减一,其中n为预设值;
S5.在两个所述第二距离信息的差值大于等于预设阈值时,抓取两个第二距离信息中较大的一方对应的候选抓取目标;
在两个所述第二距离信息的差值小于预设阈值时,抓取两个候选抓取目标中的一个目标;
S6.当待抓取的目标的数量大于等于2时,以余下候选抓取目标和与之对应的第一距离信息最小的待抓取的目标作为新的候选抓取目标,执行步骤S7,当待抓取的目标的数量小于2时,抓取所述余下候选抓取目标;
S7.重复执行步骤S4-S6直至抓取所有目标。
2.根据权利要求1所述的一种目标抓取方法,其特征在于,n∈[2,φ-1],其中φ为所述图像信息中待抓取的目标的数量。
3.根据权利要求1所述的一种目标抓取方法,其特征在于,步骤S5中,所述抓取两个候选抓取目标中的一个目标的过程中,抓取第二距离信息较大的候选抓取目标的概率大于抓取第二距离信息较小的候选抓取目标的概率。
4.根据权利要求1所述的一种目标抓取方法,其特征在于,步骤S2中,所述根据所述图像信息获取两两目标之间的第一距离信息的过程包括:
A1.根据两两图像区域的几何中心之间的距离获取两两目标之间的第一距离信息。
5.根据权利要求1所述的一种目标抓取方法,其特征在于,步骤S1中,所述图像区域的形状为凸多边形或圆;步骤S2中,所述根据所述图像信息获取两两目标之间的第一距离信息的过程包括:
B1.根据两两图像区域的几何中心之间的距离获取中心距离信息;
B2.根据两两图像区域的几何中心之间的线段与对应的两个图像区域的两个交点之间的距离获取边缘距离信息;
B3.根据所述中心距离信息和所述边缘距离信息获取两两目标之间的第一距离信息。
6.根据权利要求5所述的一种目标抓取方法,其特征在于,步骤S1中,所述图像区域彼此不重叠,步骤B3中,所述根据所述中心距离信息和所述边缘距离信息获取两两目标之间的第一距离信息的公式为:di,j=αd1+βd2,其中di,j为第一距离信息,d1为中心距离信息,d2为边缘距离信息,α和β分别为d1和d2的权重参数,0<α≤1,0≤β<1,α与β之和为1,α>β。
7.根据权利要求4所述的一种目标抓取方法,其特征在于,所述图像区域的形状为该图像包含的目标的最小外接矩形。
8.一种机器人,其特征在于,包括:
相机,用于拍摄包含多个目标的图像;
机械臂,用于执行如权利要求1-7任一项所述的目标抓取方法以抓取目标。
9.一种电子设备,其特征在于,包括处理器(301)和存储器(302),所述存储器(302)存储有所述处理器(301)可执行的计算机程序,所述处理器(301)执行所述计算机程序时,运行如权利要求1-7任一项所述目标抓取方法中的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器(301)执行时运行如权利要求1-7任一项所述目标抓取方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410165363.4A CN117697768B (zh) | 2024-02-05 | 2024-02-05 | 一种目标抓取方法、机器人、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410165363.4A CN117697768B (zh) | 2024-02-05 | 2024-02-05 | 一种目标抓取方法、机器人、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117697768A true CN117697768A (zh) | 2024-03-15 |
CN117697768B CN117697768B (zh) | 2024-05-07 |
Family
ID=90151976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410165363.4A Active CN117697768B (zh) | 2024-02-05 | 2024-02-05 | 一种目标抓取方法、机器人、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117697768B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018008343A (ja) * | 2016-07-13 | 2018-01-18 | 富士通株式会社 | 部品ピックアップ方法及び部品供給装置 |
CN110315535A (zh) * | 2019-06-10 | 2019-10-11 | 西北工业大学 | 一种基于连续路径的机器人目标抓取检测方法 |
CN110315525A (zh) * | 2018-03-29 | 2019-10-11 | 天津工业大学 | 一种基于视觉引导的机器人工件抓取方法 |
CN114952809A (zh) * | 2022-06-24 | 2022-08-30 | 中国科学院宁波材料技术与工程研究所 | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 |
CN115781673A (zh) * | 2022-11-18 | 2023-03-14 | 节卡机器人股份有限公司 | 一种零件抓取方法、装置、设备及介质 |
CN116852353A (zh) * | 2023-06-21 | 2023-10-10 | 南京工业大学 | 一种基于深度强化学习的密集场景机械臂抓取多目标物体的方法 |
-
2024
- 2024-02-05 CN CN202410165363.4A patent/CN117697768B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018008343A (ja) * | 2016-07-13 | 2018-01-18 | 富士通株式会社 | 部品ピックアップ方法及び部品供給装置 |
CN110315525A (zh) * | 2018-03-29 | 2019-10-11 | 天津工业大学 | 一种基于视觉引导的机器人工件抓取方法 |
CN110315535A (zh) * | 2019-06-10 | 2019-10-11 | 西北工业大学 | 一种基于连续路径的机器人目标抓取检测方法 |
CN114952809A (zh) * | 2022-06-24 | 2022-08-30 | 中国科学院宁波材料技术与工程研究所 | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 |
CN115781673A (zh) * | 2022-11-18 | 2023-03-14 | 节卡机器人股份有限公司 | 一种零件抓取方法、装置、设备及介质 |
CN116852353A (zh) * | 2023-06-21 | 2023-10-10 | 南京工业大学 | 一种基于深度强化学习的密集场景机械臂抓取多目标物体的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117697768B (zh) | 2024-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112070818B (zh) | 基于机器视觉的机器人无序抓取方法和系统及存储介质 | |
CN109541997B (zh) | 一种面向平面/近似平面工件的喷涂机器人快速智能编程方法 | |
CN107123164B (zh) | 保持锐利特征的三维重建方法及系统 | |
CN111899334B (zh) | 一种基于点线特征的视觉同步定位与地图构建方法及装置 | |
CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
WO2021007984A1 (zh) | 基于tsk模糊分类器的目标跟踪方法、装置及存储介质 | |
CN112541097A (zh) | 用于对象标识的方法和计算系统 | |
CN112927353B (zh) | 基于二维目标检测和模型对齐的三维场景重建方法、存储介质及终端 | |
CN113012161B (zh) | 一种基于凸性区域生长的堆叠散乱目标点云分割方法 | |
CN112507896B (zh) | 一种采用改进的yolo-v4模型对樱桃果实进行检测的方法 | |
CN110097598B (zh) | 一种基于pvfh特征的三维物体位姿估计方法 | |
CN110930429B (zh) | 一种目标跟踪处理方法、装置及设备、可读介质 | |
CN111929653B (zh) | 一种基于无人船航海雷达的目标检测、跟踪方法及系统 | |
CN115321090B (zh) | 机场行李自动接取方法、装置、设备、系统及介质 | |
US20210216767A1 (en) | Method and computing system for object recognition or object registration based on image classification | |
CN113657423A (zh) | 适用于小体积零件与堆叠零件的目标检测方法及其应用 | |
CN113246130B (zh) | 一种工件抓取和拨动干预方法及系统 | |
CN110163132A (zh) | 一种基于最大响应值变化率更新策略的相关滤波跟踪方法 | |
CN117697768B (zh) | 一种目标抓取方法、机器人、电子设备和存储介质 | |
CN116912238A (zh) | 基于多维识别网络级联融合的焊缝管道识别方法及系统 | |
CN113111899A (zh) | 基于图像分类的物体识别或物体注册的方法及计算系统 | |
CN115100416A (zh) | 一种不规则钢板位姿识别方法及相关设备 | |
CN114800533B (zh) | 一种用于工业机器人的分拣控制方法及系统 | |
Ma et al. | An improved kernel correlation filter for occlusion target tracking | |
CN115578314A (zh) | 基于连续边缘提取的眼镜框识别及抓取上料方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |