CN115741690B - 一种料包抓取方法、系统、电子设备及存储介质 - Google Patents
一种料包抓取方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115741690B CN115741690B CN202211425857.9A CN202211425857A CN115741690B CN 115741690 B CN115741690 B CN 115741690B CN 202211425857 A CN202211425857 A CN 202211425857A CN 115741690 B CN115741690 B CN 115741690B
- Authority
- CN
- China
- Prior art keywords
- determining
- area
- rectangle
- potential target
- maximum inscribed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000463 material Substances 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 239000013077 target material Substances 0.000 claims abstract description 40
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 230000000877 morphologic effect Effects 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000003795 chemical substances by application Substances 0.000 description 10
- 239000007787 solid Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000010959 steel Substances 0.000 description 3
- 238000005266 casting Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000007711 solidification Methods 0.000 description 2
- 230000008023 solidification Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 239000010439 graphite Substances 0.000 description 1
- 229910002804 graphite Inorganic materials 0.000 description 1
- 238000005272 metallurgy Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000007800 oxidant agent Substances 0.000 description 1
- 230000001590 oxidative effect Effects 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000010451 perlite Substances 0.000 description 1
- 235000019362 perlite Nutrition 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种料包抓取方法、系统、电子设备及存储介质，该料包抓取方法包括获取若干料包的深度图像及三维点云图像，对深度图像进行二值化处理，对得到的掩模图进行形态学开运算后进行阈值分割，确定得到的各第一潜在目标区域对应的最小外接旋转矩形，确定最小外接旋转矩形的区域特征，根据最小外接旋转矩形的区域特征与第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度，比较第一可信度与预设第一可信度阈值，得到第一比较结果，根据第一比较结果，在若干料包中确定目标料包，根据三维点云图像，确定目标料包的六维位姿，根据六维位姿，确定抓取组件的抓取位姿，控制抓取组件按照所述抓取位姿对目标料包进行抓取，本申请降低了劳动强度。
Description
技术领域
本申请涉及冶金智能化技术领域，具体涉及一种料包抓取方法、系统、电子设备及存储介质。
背景技术
覆盖剂是铸造生产中为延长冒口内金属液的凝固时间覆盖在冒口金属液表面的覆盖材料。覆盖剂有两种：保温覆盖剂和发热覆盖剂。保温覆盖剂为低导热材料构成，如膨胀珍珠岩、膨胀石墨等。发热覆盖剂除低导热材料外，还会加入一定比例的发热材料，在金属液的热作用下，氧化剂提供氧使还原剂氧化发热，延长冒口内金属液的凝固时间。覆盖剂能够显著延长冒口顶部结壳时间，使冒口中钢水长时间处在大气压力作用下，显著提高冒口的补缩效率，有利于铸件中的气体和夹杂物上浮，达到净化钢水的目的，从而获得健全的钢件，降低废品率。
通常，覆盖剂封装于料包中，重量约15kg～25kg。普遍通过人工搬运料包进行投放，单次投放重量约为250kg～300kg，工人劳动强度大、作业环境恶劣、投放效率低，难以满足实际生产的要求。
相关技术中对于散乱堆放的物体进行识别主要通过3D点云模型匹配方式或3D点云聚类的方法寻找目标位置，其中，前者通过3D点云模型匹配方式，先创建待识别目标的3D点云模型，通过模型匹配的方式在3D场景中找到目标，该方法的识别精度高，但不适用于发生形变的工件散乱堆叠的情况；或者通过3D点云聚类的方法找到目标位置，该方法对于粘连比较严重的目标不易区分开，且3D点云聚类效率较低，不适合目标物较多的场景下的目标分割与抓取。
发明内容
鉴于以上所述现有技术的缺点，本申请提供一种料包方法、系统、电子设备及存储介质，以解决相关技术中对于散乱堆放的物体进行识别主要通过3D点云模型匹配方式或3D点云聚类的方法寻找目标位置，前者通过3D点云模型匹配方式，先创建待识别目标的3D点云模型，通过模型匹配的方式在3D场景中找到目标，该方法的识别精度高，但不适用于发生形变的工件散乱堆叠的情况；或者通过3D点云聚类的方法找到目标位置，该方法对于粘连比较严重的目标不易区分开，且3D点云聚类效率较低，不适合目标物较多的场景下的目标分割与抓取的技术问题。
第一个方面，本申请提供一种料包抓取方法，所述料包抓取方法包括：
获取若干料包的深度图像及三维点云图像；
对所述深度图像进行二值化处理，得到掩模图；
对所述掩模图进行形态学开运算后进行阈值分割，得到若干第一潜在目标区域；
确定各第一潜在目标区域对应的最小外接旋转矩形及第一潜在目标区域的区域特征；
根据所述最小外接旋转矩形确定最小外接旋转矩形的区域特征；
根据所述最小外接旋转矩形的区域特征与所述第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度；
比较所述第一可信度与预设第一可信度阈值，得到第一比较结果；
根据所述第一比较结果，在所述若干料包中确定目标料包；
根据所述三维点云图像，确定所述目标料包的六维位姿；
根据所述六维位姿，确定抓取组件的抓取位姿；
控制抓取组件按照所述抓取位姿对所述目标料包进行抓取。
在本申请的一示例性实施例中，按照预设相对深度阈值在所述深度图像的预设邻域范围内对所述深度图像进行二值化处理，得到掩模图。
在本申请的一示例性实施例中，根据所述最小外接旋转矩形的区域特征与所述第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度，包括，
根据所述最小外接旋转矩形的区域特征及所述第一潜在目标区域的区域特征，分别确定所述最小外接旋转矩形的长宽比、面积及所述第一潜在目标区域的长宽比、面积；
根据最小外接旋转矩形的长宽比及第一潜在目标区域的长宽比，确定各最小外接旋转矩形与相应料包之间的相似度；
根据最小外接旋转矩形的面积及第一潜在目标区域的面积，确定第一潜在目标区域与各最小外接旋转矩形之间的区域面积比值；
根据所述相似度及所述区域面积比值，确定各最小外接旋转矩形的第一可信度。
在本申请的一示例性实施例中，根据所述第一比较结果，在所述若干料包中确定目标料包，包括：
若所述第一可信度大于预设第一可信度阈值，将所述最小外接旋转矩形对应的第一潜在目标区域中的料包确定为目标料包；
若所述第一可信度小于或等于预设第一可信度阈值，对所述掩模图进行填充以使填充后的掩模图中的孔洞面积小于预设最小孔洞面积；
对所述填充后的掩模图进行形态学开运算后进行阈值分割，得到若干第二潜在目标区域；
根据若干第二潜在目标区域，确定各第二潜在目标区域对应的最大内接旋转矩形及第二潜在目标区域的区域特征；
根据所述最大内接旋转矩形确定最大内接旋转矩形的区域特征；
根据所述最大内接旋转矩形的区域特征及所述第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度；
比较所述第二可信度与预设第二可信度阈值，得到第二比较结果；
根据所述第二比较结果，在所述若干料包中确定目标料包。
在本申请的一示例性实施例中，根据所述第二比较结果，在所述若干料包中确定目标料包，包括：
若所述第二可信度大于预设第二可信度阈值，将所述最大内接旋转矩形对应的第二潜在目标区域中的料包确定为目标料包。
在本申请的一示例性实施例中，根据若干第二潜在目标区域，确定各第二潜在目标区域对应的最大内接旋转矩形，包括：
根据若干第二潜在目标区域，确定各第二潜在目标区域的质心；
以所述质心为中心，以0°～360°为旋转范围，将各第二潜在目标区域以预设角度为旋转角度进行旋转，得到若干对象；
基于所有对象，确定各对象的最大内接旋转矩形；
基于各对象的最大内接旋转矩形，确定各对象的最大内接旋转矩形的面积；
比较所述各对象的最大内接旋转矩形的面积，得到比较结果；
根据所述比较结果，得到面积最大的最大内接旋转矩形，将所述面积最大的最大内接旋转矩形确定为各第二潜在目标区域对应的最大内接旋转矩形。
在本申请的一示例性实施例中，根据所述最大内接旋转矩形的区域特征及所述第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度包括：
根据所述最大内接旋转矩形的区域特征及所述第二潜在目标区域的区域特征，分别确定所述最大内接旋转矩形的长宽比、面积及所述第二潜在目标区域的长宽比、面积；
根据最大内接旋转矩形的长宽比及第二潜在目标区域的长宽比，确定各最大内接旋转矩形与相应料包之间的相似度；
根据最大内接旋转矩形的面积及第二潜在目标区域的面积，确定各最大内接旋转矩形的填充度及各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值；
根据所述各最小外接旋转矩形与相应料包之间的相似度、所述各最大内接旋转矩形的填充度及所述各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值，确定各最大内接旋转矩形的第二可信度。
在本申请的一示例性实施例中，确定所述目标料包的六维位姿包括：
根据所述三维点云图像确定所述第一潜在目标区域或第二潜在目标区域对应的点云最小立体包围盒；
通过所述点云最小立体包围盒，确定所述点云最小立体包围盒的中心点；
根据所述深度图像，确定所述中心点的深度值；
比较各点云最小立体包围盒的中心点的深度值，得到比较结果；
根据所述比较结果，按照深度值由小到大的顺序，依次根据所述三维点云图像确定所述点云最小立体包围盒相应料包的六维位姿，得到目标料包的六维位姿。
第二个方面，本申请提供一种料包抓取系统，所述料包抓取系统包括：
采集模块，用于获取若干料包的深度图像及三维点云图像；
预处理模块，用于对所述深度图像进行二值化处理，得到掩模图；
划分模块，用于对所述掩模图进行形态学开运算后进行阈值分割，得到若干第一潜在目标区域；
第一确定模块，用于确定各第一潜在目标区域对应的最小外接旋转矩形及第一潜在目标区域的区域特征；
第二确定模块，用于根据所述最小外接旋转矩形确定最小外接旋转矩形的区域特征；
第三确定模块，用于根据所述最小外接旋转矩形的区域特征与所述第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度；
比较模块，用于比较所述第一可信度与预设第一可信度阈值，得到第一比较结果；
第四确定模块，用于根据所述第一比较结果，在所述若干料包中确定目标料包；
第五确定模块，用于根据所述三维点云图像，确定所述目标料包的六维位姿；
第六确定模块，用于根据所述六维位姿，确定抓取组件的抓取位姿；
控制模块，用于控制抓取组件按照所述抓取位姿对所述目标料包进行抓取。
第三个方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如上所述的料包抓取方法。
本申请的料包抓取方法、系统、电子设备及存储介质，具有以下
有益效果：
本申请能够对散乱堆叠变形的覆盖剂料包的位姿进行识别，并通过抓取组件完成覆盖剂料包的抓取，减轻了工人的劳动强度，提高了作业的安全性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请的一示例性实施例示出的料包抓取方法的流程图；
图2为图1所示实施例中
图2为图1所示实施例中步骤S1005中根据最小外接旋转矩形的区域特征与第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度在一示例性实施例中的流程图；
图3为图1所示实施例中步骤S1008中根据第一比较结果，在若干料包中确定目标料包在一示例性实施例中的流程图；
图4为图3所示实施例中步骤S3008中根据第二比较结果，在若干料包中确定目标料包在一示例性实施例中的流程图；
图5为图3所示实施例中步骤S3007中根据最大内接旋转矩形的区域特征及第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度在一示例性实施例中的流程图；
图6为图1所示实施例中步骤S1009中确定目标料包的六维位姿在一示例性实施例中的流程图；
图7为一具体实施例示出的料包抓取方法的流程图；
图8为图7所示实施例中待抓取的料包的示意图；
图9为图7所示实施例中深度图像和掩模图；
图10为图7所示实施例中最大内接旋转矩形与第二潜在目标区域的料包的示意图；
图11为本申请的一示例性实施例示出的料包抓取系统的框图；
图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以根据不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
请参阅图1，图1为本申请的一示例性实施例示出的料包抓取方法的流程图。
如图1所示，在本申请的一示例性的实施例中，料包抓取方法至少包括步骤S1001至步骤S1011，详细介绍如下：
步骤S1001.获取若干料包的深度图像及三维点云图像；
本申请中，所有料包是散乱堆叠的。
步骤S1002.对深度图像进行二值化处理，得到掩模图；
具体的，按照预设相对深度阈值在深度图像的预设邻域范围内对深度图像进行二值化处理，得到掩模图。
步骤S1003.对掩模图进行形态学开运算后进行阈值分割，得到若干第一潜在目标区域；
本申请中，形态学开运算是指先进行图像腐蚀再进行开运算。
步骤S1004.确定各第一潜在目标区域对应的最小外接旋转矩形及第一潜在目标区域的区域特征；
示例性地，可采用旋转卡尺法确定各第一潜在目标区域对应的最小外接旋转矩形。
步骤S1005.根据最小外接旋转矩形确定最小外接旋转矩形的区域特征；
步骤S1006.根据最小外接旋转矩形的区域特征与第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度；
步骤S1007.比较第一可信度与预设第一可信度阈值，得到第一比较结果；
预设第一可信度阈值可自行设定，此处不再赘述。
步骤S1008.根据第一比较结果，在若干料包中确定目标料包；
步骤S1009.根据三维点云图像，确定目标料包的六维位姿；
步骤S1010.根据六维位姿，确定抓取组件的抓取位姿；
步骤S1011.控制抓取组件按照抓取位姿对目标料包进行抓取；
请参阅图2，图2为图1所示实施例中步骤S1005中根据最小外接旋转矩形的区域特征与第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度在一示例性实施例中的流程图。
如图2所示，在本申请的一示例性实施例中，图1所示实施例中步骤S1005中根据最小外接旋转矩形的区域特征与第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度的过程包括步骤S2001至步骤S2004，详细介绍如下：
步骤S2001.根据最小外接旋转矩形的区域特征及第一潜在目标区域的区域特征，分别确定最小外接旋转矩形的长宽比、面积及第一潜在目标区域的长宽比、面积；
步骤S2002.根据最小外接旋转矩形的长宽比及第一潜在目标区域的长宽比，确定各最小外接旋转矩形与相应料包之间的相似度；
具体的，若最小外接旋转矩形的长宽比大于第一潜在目标区域的长宽比，则第一潜在目标区域的长宽比与最小外接旋转矩形的长宽比的比值即为各最小外接旋转矩形与相应料包之间的相似度；反之，若最小外接旋转矩形的长宽比小于第一潜在目标区域的长宽比，则最小外接旋转矩形的长宽比与第一潜在目标区域的长宽比的比值即为各最小外接旋转矩形与相应料包之间的相似度。
步骤S2003.根据最小外接旋转矩形的面积及第一潜在目标区域的面积，确定第一潜在目标区域与各最小外接旋转矩形之间的区域面积比值；
具体的，第一潜在目标区域的面积与相应最小外接旋转矩形之间的面积的比值即为区域面积比值。
步骤S2004.根据相似度及区域面积比值，确定各最小外接旋转矩形的第一可信度。
具体的，根据相似度、填充度及区域面积比值，确定各最小外接旋转矩形的第一可信度的确定方式包括：
S＝S1*S2(I)；
其中，S为第一可信度，S1为各最小外接旋转矩形与相应料包之间的相似度，S2为第一潜在目标区域与各最小外接旋转矩形之间的区域面积比值。
请参阅图3，图3为图1所示实施例中步骤S1008中根据第一比较结果，在若干料包中确定目标料包在一示例性实施例中的流程图。
如图3所示，在本申请的一示例性实施例中，图1所示实施例中步骤S1008中根据第一比较结果，在若干料包中确定目标料包的过程包括步骤S3001至步骤S3008，详细介绍如下：
步骤S3001.若第一可信度大于预设第一可信度阈值，将最小外接旋转矩形对应的第一潜在目标区域中的料包确定为目标料包；
步骤S3002.若第一可信度小于或等于预设第一可信度阈值，对掩模图进行填充以使填充后的掩模图中的孔洞面积小于预设最小孔洞面积；
步骤S3003.对填充后的掩模图进行形态学开运算后进行阈值分割，得到若干第二潜在目标区域；
步骤S3004.根据若干第二潜在目标区域，确定各第二潜在目标区域对应的最大内接旋转矩形及第二潜在目标区域的区域特征；
步骤S3005.根据最大内接旋转矩形确定最大内接旋转矩形的区域特征；
步骤S3006.根据最大内接旋转矩形的区域特征及第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度；
步骤S3007.比较第二可信度与预设第二可信度阈值，得到第二比较结果；
步骤S3008.根据第二比较结果，在若干料包中确定目标料包。
具体的，若第二可信度大于预设第二可信度阈值，将最大内接旋转矩形对应的第二潜在目标区域中的料包确定为目标料包。
请参阅图4，图4为图3所示实施例中步骤S3005中根据最大内接旋转矩形确定最大内接旋转矩形的区域特征在一示例性实施例中的流程图。
如图4所示，在本申请的一示例性实施例中图3所示实施例中步骤S3005中根据最大内接旋转矩形确定最大内接旋转矩形的区域特征的过程包括步骤S4001至步骤S4006，详细介绍如下：
步骤S4001.根据若干第二潜在目标区域，确定各第二潜在目标区域的质心；
步骤S4002.以质心为中心，以0°～360°为旋转范围，将各第二潜在目标区域以预设角度为旋转角度进行旋转，得到若干对象；
步骤S4003.基于所有对象，确定各对象的最大内接旋转矩形；
步骤S4004.基于各对象的最大内接旋转矩形，确定各对象的最大内接旋转矩形的面积；
步骤S4005.比较各对象的最大内接旋转矩形的面积，得到比较结果；
步骤S4006.根据比较结果，得到面积最大的最大内接旋转矩形，将面积最大的最大内接旋转矩形确定为各第二潜在目标区域对应的最大内接旋转矩形。
请参阅图5，图5为图3所示实施例中步骤S3007中根据最大内接旋转矩形的区域特征及第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度在一示例性实施例中的流程图。
如图5所示，在本申请的一示例性实施例中，图3所示实施例中步骤S3007中根据最大内接旋转矩形的区域特征及第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度的过程包括步骤S5001至步骤S5004，详细介绍如下：
步骤S5001.根据最大内接旋转矩形的区域特征及第二潜在目标区域的区域特征，分别确定最大内接旋转矩形的长宽比、面积及第二潜在目标区域的长宽比、面积；
步骤S5001.根据最大内接旋转矩形的长宽比及第二潜在目标区域的长宽比，确定各最大内接旋转矩形与相应料包之间的相似度；
具体的，若最大内接旋转矩形的长宽比大于第二潜在目标区域的长宽比，则第二潜在目标区域的长宽比与最大内接旋转矩形的长宽比的比值即为各最大内接旋转矩形与相应料包之间的相似度；反之，若最大内接旋转矩形的长宽比小于第二潜在目标区域的长宽比，则最大内接旋转矩形的长宽比与第二潜在目标区域的长宽比的比值即为各最大内接旋转矩形与相应料包之间的相似度。
步骤S5003.根据最大内接旋转矩形的面积及第二潜在目标区域的面积，确定各最大内接旋转矩形的填充度及各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值；
具体的，各最大内接旋转矩形的填充度为第二潜在目标区域的面积与最大内接旋转矩形的面积的比值。
若各最大内接旋转矩形的面积小于第二潜在目标区域的面积，则各最大内接旋转矩形的面积与第二潜在目标区域之间的区域面积的比值即为各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值；反之，若各最大内接旋转矩形的面积大于第二潜在目标区域的面积，则第二潜在目标区域的面积与各最大内接旋转矩形的面积的比值即为各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值。
步骤S5004.根据各最小外接旋转矩形与相应料包之间的相似度、各最大内接旋转矩形的填充度及各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值，确定各最大内接旋转矩形的第二可信度。
具体的，根据各最小外接旋转矩形与相应料包之间的相似度、各最大内接旋转矩形的填充度及各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值，确定各最大内接旋转矩形的第二可信度的确定方式包括：
S'＝S1'×S'2×S3' (II)；
其中，S'为第二可信度，S1'为各最大内接旋转矩形与相应料包之间的相似度，S'2为各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值，S3'为各最大内接旋转矩形的填充度。
请参阅图6，图6为图1所示实施例中步骤S1009中确定目标料包的六维位姿在一示例性实施例中的流程图。
如图6所示，在本申请的一示例性实施例中，图1所示实施例中步骤S1009中确定第目标料包的六维位姿的过程包括步骤S6001至步骤S6005，详细介绍如下：
步骤S6001.根据三维点云图像确定第一潜在目标区域或第二潜在目标区域对应的点云最小立体包围盒；
示例性地，可采用主元分析法根据三维点云图像确定点云最小立体包围盒。
步骤S6002.通过点云最小立体包围盒，确定点云最小立体包围盒的中心点；
步骤S6003.根据深度图像，确定中心点的深度值；
步骤S6003.比较各第一潜在目标区域或第二潜在目标区域的相应的点云最小立体包围盒的中心点的深度值，得到比较结果；
步骤S6004.根据比较结果，按照深度值由小到大的顺序，依次根据三维点云图像确定点云最小立体包围盒相应料包的六维位姿。
具体的，根据三维点云图像能够确定点云最小立体包围盒，根据第二点云最小立体包围盒能够确定点云最小立体包围盒的质心，点云最小立体包围盒的质心坐标(x,y,z)即为点云最小立体包围盒的法向量，亦即6D位姿中的旋转向量，即为料包的六维位姿。
如图7所示，在一具体实施例中，料包抓取方法步骤如下：
获取若干料包的深度图像及三维点云图像，所有料包是散乱堆叠的(如图8所示)。
按照预设相对深度阈值在深度图像的预设邻域范围内对深度图像进行二值化处理，得到掩模图，具体的，料包的同一个平面在不同的视角下获取的点云深度图具有不同的深度值，属于平面边界处的区域深度信息通常具有非连续性，如图9a中A区域所示。属于平面非边界处的区域深度信息通常具有连续性，如图9a中B区域所示。利用式(III)创建一个掩膜图像如图9b，用于标记深度图信息的连续性，0表示边界，255表示非边界。
式中：当满足(D(x+r,y+r)＝0)或者(|D(x+r,y+r)-D(x,y)|≥Td)条件时，Mask(x+r,y+r)＝0，否则，Mask(x+r,y+r)＝255，其中，-R≤r≤R，R为邻域半径，Mask(x+r,y+r)为掩膜图像，其尺寸大小与深度图一致，R≤x≤Width-R，R≤y≤Height-R，Width为深度图的宽度，Height为深度图的高度，D(x,y)为深度信息，Td为预设相对深度阈值，点云深度图分割得到了粗略的工件边界位置的掩膜图像。
对掩模图进行形态学开运算后进行阈值分割，得到若干第一潜在目标区域；
采用旋转卡尺法确定各第一潜在目标区域对应的最小外接旋转矩形。
根据最小外接旋转矩形的区域特征及第一潜在目标区域的区域特征，分别确定最小外接旋转矩形的长宽比、面积及第一潜在目标区域的长宽比、面积；
根据最小外接旋转矩形的长宽比及第一潜在目标区域的长宽比，确定各最小外接旋转矩形与相应料包之间的相似度，具体的，若最小外接旋转矩形的长宽比大于第一潜在目标区域的长宽比，则第一潜在目标区域的长宽比与最小外接旋转矩形的长宽比的比值即为各最小外接旋转矩形与相应料包之间的相似度；反之，若最小外接旋转矩形的长宽比小于第一潜在目标区域的长宽比，则最小外接旋转矩形的长宽比与第一潜在目标区域的长宽比的比值即为各最小外接旋转矩形与相应料包之间的相似度。
根据最小外接旋转矩形的面积及第一潜在目标区域的面积，确定第一潜在目标区域与各最小外接旋转矩形之间的区域面积比值，具体的，第一潜在目标区域的面积与相应最小外接旋转矩形之间的面积的比值即为区域面积比值。
根据相似度、填充度及区域面积比值，确定各最小外接旋转矩形的第一可信度：
S＝S1*S2(I)；
其中，S为第一可信度，S1为各最小外接旋转矩形与相应料包之间的相似度，S2为第一潜在目标区域与各最小外接旋转矩形之间的区域面积比值。
若第一可信度大于预设第一可信度阈值，将最小外接旋转矩形对应的第一潜在目标区域中的料包确定为目标料包；
若第一可信度小于或等于预设第一可信度阈值，对掩模图进行填充以使填充后的掩模图中的孔洞面积小于预设最小孔洞面积；
对填充后的掩模图进行形态学开运算后进行阈值分割，得到若干第二潜在目标区域；
根据最大内接旋转矩形的长宽比及第二潜在目标区域的长宽比，确定各最大内接旋转矩形与相应料包之间的相似度；
根据最大内接旋转矩形的区域特征及所述第二潜在目标区域的区域特征，分别确定最大内接旋转矩形的长宽比、面积及第二潜在目标区域的长宽比、面积；
根据最大内接旋转矩形的长宽比及第二潜在目标区域的长宽比，确定各最大内接旋转矩形与相应料包之间的相似度，具体的，若最大内接旋转矩形的长宽比大于第二潜在目标区域的长宽比，则第二潜在目标区域的长宽比与最大内接旋转矩形的长宽比的比值即为各最大内接旋转矩形与相应料包之间的相似度；反之，若最大内接旋转矩形的长宽比小于第二潜在目标区域的长宽比，则最大内接旋转矩形的长宽比与第二潜在目标区域的长宽比的比值即为各最大内接旋转矩形与相应料包之间的相似度。
根据最大内接旋转矩形的面积及第二潜在目标区域的面积，确定各最大内接旋转矩形的填充度及各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值，具体的，如图10所示，各最大内接旋转矩形的填充度为第二潜在目标区域的面积与最大内接旋转矩形的面积的比值；若各最大内接旋转矩形的面积小于第二潜在目标区域的面积，则各最大内接旋转矩形的面积与第二潜在目标区域之间的区域面积的比值即为各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值；反之，若各最大内接旋转矩形的面积大于第二潜在目标区域的面积，则第二潜在目标区域的面积与各最大内接旋转矩形的面积的比值即为各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值。
根据各最小外接旋转矩形与相应料包之间的相似度、各最大内接旋转矩形的填充度及各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值，确定各最大内接旋转矩形的第二可信度：
S'＝S1'×S'2×S3' (II)；
其中，S'为第二可信度，S1'为各最大内接旋转矩形与相应料包之间的相似度，S'2为各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值，S3'为各最大内接旋转矩形的填充度。
若第二可信度大于预设第二可信度阈值，将最大内接旋转矩形对应的第二潜在目标区域中的料包确定为目标料包；
根据三维点云图像确定目标料包的六维位姿：首先采用主元分析法根据三维点云图像确定第一潜在目标区域或第二潜在目标区域对应的点云最小立体包围盒，然后通过第一云最小立体包围盒确定第一点云最小立体包围盒的中心点或通过第二云最小立体包围盒确定第二点云最小立体包围盒的中心点；接着根据深度图像，确定中心点的深度值；随后比较各第一潜在目标区域的相应的第一点云最小立体包围盒的中心点的深度值或比较各第二潜在目标区域的相应的第二点云最小立体包围盒的中心点的深度值，得到比较结果；接着根据比较结果，按照深度值由小到大的顺序，依次根据三维点云图像确定第一点云最小立体包围盒或第二点云最小立体包围盒相应料包的六维位姿，具体的，根据三维点云图像能够确定第一潜在目标区域对应的第一点云最小立体包围盒，根据第一点云最小立体包围盒能够确定第一点云最小立体包围盒的质心，第一点云最小立体包围盒的质心坐标(x,y,z)即为第一点云最小立体包围盒的法向量，亦即6D位姿中的旋转向量，即为目标料包的六维位姿或。或根据三维点云图像能够确定第二潜在目标区域对应的第二点云最小立体包围盒，根据第二点云最小立体包围盒能够确定第二点云最小立体包围盒的质心，第二点云最小立体包围盒的质心坐标(x,y,z)即为第二点云最小立体包围盒的法向量，亦即6D位姿中的旋转向量，即为目标料包的六维位姿。即按照深度值由小到大的顺序依次确定各目标料包的六维位姿(即在第一可信度大于预设第一可信度阈值或第二可信度大于预设第二可信度阈值时，存在多个目标料包，按照深度值有小到大顺序依次抓取)。
接着，按照深度值由小到大的顺序依次确定目标料包的六维位姿，依次根据六维位姿，确定抓取组件的抓取位姿；
随后，按照深度值由小到大的顺序依次确定目标料包的六维位姿，依次控制抓取组件移动至目标料包处，按照抓取位姿对目标料包进行抓取。
若以上条件均不满足，则人工选择料包进行抓取。
请参阅图11，本申请实施例还提供一种料包抓取系统M1100，该料包抓取系统M1100包括：
采集模块M1101，用于获取若干料包的深度图像及三维点云图像；
预处理模块M1102，用于对深度图像进行二值化处理，得到掩模图；
划分模块M1103，用于对掩模图进行形态学开运算后进行阈值分割，得到若干第一潜在目标区域；
第一确定模块M1104，用于确定各第一潜在目标区域对应的最小外接旋转矩形及第一潜在目标区域的区域特征；
第二确定模块M1105，用于确定最小外接旋转矩形确定最小外接旋转矩形的区域特征；
第三确定模块M1106，用于根据最小外接旋转矩形的区域特征与第一潜在目标区域的区域特征，确定各最小外接旋转矩形的第一可信度；
比较模块M1107，用于比较第一可信度与预设第一可信度阈值，得到第一比较结果；
第四确定模块M1108，用于根据第一比较结果，在若干料包中确定目标料包；
第五确定模块M1109，根据三维点云图像，确定目标料包的六维位姿；
第六确定模块M1110，根据六维位姿，确定抓取组件的抓取位姿；
控制模块M1111，用于控制抓取组件按照抓取位姿对目标料包进行抓取。
需要说明的是，上述实施例所提供的料包抓取系统与上述实施例所提供的料包抓取方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的料包抓取系统在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
本申请还提供一种电子设备，包括：处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现上述各个实施例中提供的料包抓取方法。
图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图12所示，计算机系统1200包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从储存部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU 1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1104。
以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的储存部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入储存部分1208。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前所述的料包抓取方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的料包抓取方法。
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (9)
1.一种料包抓取方法，其特征在于，所述料包抓取方法包括：
获取若干料包的深度图像及三维点云图像；
对所述深度图像进行二值化处理，得到掩模图；
对所述掩模图进行形态学开运算后进行阈值分割，得到若干第一潜在目标区域；
确定各第一潜在目标区域对应的最小外接旋转矩形及第一潜在目标区域的区域特征；
根据所述最小外接旋转矩形确定最小外接旋转矩形的区域特征；
根据所述最小外接旋转矩形的区域特征及所述第一潜在目标区域的区域特征，分别确定所述最小外接旋转矩形的长宽比、面积及所述第一潜在目标区域的长宽比、面积；
根据最小外接旋转矩形的长宽比及第一潜在目标区域的长宽比，确定各最小外接旋转矩形与相应料包之间的相似度；
根据最小外接旋转矩形的面积及第一潜在目标区域的面积，确定第一潜在目标区域与各最小外接旋转矩形之间的区域面积比值；
根据所述相似度及所述区域面积比值，确定各最小外接旋转矩形的第一可信度；
比较所述第一可信度与预设第一可信度阈值，得到第一比较结果；
若所述第一可信度大于预设第一可信度阈值，将所述最小外接旋转矩形对应的第一潜在目标区域中的料包确定为目标料包；
若所述第一可信度小于或等于预设第一可信度阈值，对所述掩模图进行填充以使填充后的掩模图中的孔洞面积小于预设最小孔洞面积；
对所述填充后的掩模图进行形态学开运算后进行阈值分割，得到若干第二潜在目标区域；
根据若干第二潜在目标区域，确定各第二潜在目标区域对应的最大内接旋转矩形及第二潜在目标区域的区域特征；
根据所述最大内接旋转矩形确定最大内接旋转矩形的区域特征；
根据所述最大内接旋转矩形的区域特征及所述第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度；
比较所述第二可信度与预设第二可信度阈值，得到第二比较结果；
根据所述第二比较结果，在所述若干料包中确定目标料包；
根据所述三维点云图像，确定所述目标料包的六维位姿；
根据所述六维位姿，确定抓取组件的抓取位姿；
控制抓取组件按照所述抓取位姿对所述目标料包进行抓取。
2.根据权利要求1所述的料包抓取方法，其特征在于，按照预设相对深度阈值在所述深度图像的预设邻域范围内对所述深度图像进行二值化处理，得到掩模图。
3.根据权利要求1所述的料包抓取方法，其特征在于，根据所述第二比较结果，在所述若干料包中确定目标料包，包括：
若所述第二可信度大于预设第二可信度阈值，将所述最大内接旋转矩形对应的第二潜在目标区域中的料包确定为目标料包。
4.根据权利要求1所述的料包抓取方法，其特征在于，根据若干第二潜在目标区域，确定各第二潜在目标区域对应的最大内接旋转矩形，包括：
根据若干第二潜在目标区域，确定各第二潜在目标区域的质心；
以所述质心为中心，以0°～360°为旋转范围，将各第二潜在目标区域以预设角度为旋转角度进行旋转，得到若干对象；
基于所有对象，确定各对象的最大内接旋转矩形；
基于各对象的最大内接旋转矩形，确定各对象的最大内接旋转矩形的面积；
比较所述各对象的最大内接旋转矩形的面积，得到比较结果；
根据所述比较结果，得到面积最大的最大内接旋转矩形，将所述面积最大的最大内接旋转矩形确定为各第二潜在目标区域对应的最大内接旋转矩形。
5.根据权利要求1所述的料包抓取方法，其特征在于，根据所述最大内接旋转矩形的区域特征及所述第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度包括：
根据所述最大内接旋转矩形的区域特征及所述第二潜在目标区域的区域特征，分别确定所述最大内接旋转矩形的长宽比、面积及所述第二潜在目标区域的长宽比、面积；
根据最大内接旋转矩形的长宽比及第二潜在目标区域的长宽比，确定各最大内接旋转矩形与相应料包之间的相似度；
根据最大内接旋转矩形的面积及第二潜在目标区域的面积，确定各最大内接旋转矩形的填充度及各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值；
根据所述各最小外接旋转矩形与相应料包之间的相似度、所述各最大内接旋转矩形的填充度及所述各最大内接旋转矩形与第二潜在目标区域之间的区域面积比值，确定各最大内接旋转矩形的第二可信度。
6.根据权利要求1所述的料包抓取方法，其特征在于，确定所述目标料包的六维位姿包括：
根据所述三维点云图像确定所述第一潜在目标区域或第二潜在目标区域对应的点云最小立体包围盒；
通过所述点云最小立体包围盒，确定所述点云最小立体包围盒的中心点；
根据所述深度图像，确定所述中心点的深度值；
比较各点云最小立体包围盒的中心点的深度值，得到比较结果；
根据所述比较结果，按照深度值由小到大的顺序，依次根据所述三维点云图像确定所述点云最小立体包围盒相应料包的六维位姿，得到目标料包的六维位姿。
7.一种料包抓取系统，其特征在于，所述料包抓取系统包括：
采集模块，用于获取若干料包的深度图像及三维点云图像；
预处理模块，用于对所述深度图像进行二值化处理，得到掩模图；
划分模块，用于对所述掩模图进行形态学开运算后进行阈值分割，得到若干第一潜在目标区域；
第一确定模块，用于确定各第一潜在目标区域对应的最小外接旋转矩形及第一潜在目标区域的区域特征；
第二确定模块，用于根据所述最小外接旋转矩形确定最小外接旋转矩形的区域特征；
第三确定模块，用于根据最小外接旋转矩形的长宽比及第一潜在目标区域的长宽比，确定各最小外接旋转矩形与相应料包之间的相似度；根据最小外接旋转矩形的面积及第一潜在目标区域的面积，确定第一潜在目标区域与各最小外接旋转矩形之间的区域面积比值；并根据所述相似度及所述区域面积比值，确定各最小外接旋转矩形的第一可信度；
比较模块，用于比较所述第一可信度与预设第一可信度阈值，得到第一比较结果；
第四确定模块，用于比较所述第一可信度与预设第一可信度阈值，得到第一比较结果；
若所述第一可信度大于预设第一可信度阈值，将所述最小外接旋转矩形对应的第一潜在目标区域中的料包确定为目标料包；
若所述第一可信度小于或等于预设第一可信度阈值，对所述掩模图进行填充以使填充后的掩模图中的孔洞面积小于预设最小孔洞面积；对所述填充后的掩模图进行形态学开运算后进行阈值分割，得到若干第二潜在目标区域；根据若干第二潜在目标区域，确定各第二潜在目标区域对应的最大内接旋转矩形及第二潜在目标区域的区域特征；根据所述最大内接旋转矩形确定最大内接旋转矩形的区域特征；根据所述最大内接旋转矩形的区域特征及所述第二潜在目标区域的区域特征，确定各最大内接旋转矩形的第二可信度；比较所述第二可信度与预设第二可信度阈值，得到第二比较结果；并根据所述第二比较结果，在所述若干料包中确定目标料包；
第五确定模块，用于根据所述三维点云图像，确定所述目标料包的六维位姿；
第六确定模块，用于根据所述六维位姿，确定抓取组件的抓取位姿；
控制模块，用于控制抓取组件按照所述抓取位姿对所述目标料包进行抓取。
8.一种电子设备，其特征在于，所述电子设备包括：处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现如权利要求1-6中任一项所述的料包抓取方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行如权利要求1-6中任一项所述料包抓取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211425857.9A CN115741690B (zh) | 2022-11-14 | 2022-11-14 | 一种料包抓取方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211425857.9A CN115741690B (zh) | 2022-11-14 | 2022-11-14 | 一种料包抓取方法、系统、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115741690A CN115741690A (zh) | 2023-03-07 |
| CN115741690B true CN115741690B (zh) | 2024-06-07 |
Family
ID=85371035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211425857.9A Active CN115741690B (zh) | 2022-11-14 | 2022-11-14 | 一种料包抓取方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115741690B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563650B (zh) * | 2023-07-10 | 2023-10-13 | 邦世科技(南京)有限公司 | 一种基于深度学习的终板炎退变分级方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007020449A (ja) * | 2005-07-14 | 2007-02-01 | Olympus Corp | スクリーニング方法およびスクリーニング装置 |
| KR20110133229A (ko) * | 2010-06-04 | 2011-12-12 | 부경대학교 산학협력단 | 용접용 필러 와이어 및 이를 이용한 용접방법 |
| CN103706571A (zh) * | 2013-12-27 | 2014-04-09 | 西安航天精密机电研究所 | 一种视觉定位分拣方法 |
| CN106127749A (zh) * | 2016-06-16 | 2016-11-16 | 华南理工大学 | 基于视觉注意机制的目标零件识别方法 |
| CN107883929A (zh) * | 2017-09-22 | 2018-04-06 | 中冶赛迪技术研究中心有限公司 | 基于多关节机械臂的单目视觉定位装置及方法 |
| CN108668637A (zh) * | 2018-04-25 | 2018-10-19 | 江苏大学 | 一种机器视觉自然放置葡萄串抓取点定位方法 |
| KR20200097572A (ko) * | 2019-02-08 | 2020-08-19 | 한양대학교 산학협력단 | 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법 |
| CN112508826A (zh) * | 2020-11-16 | 2021-03-16 | 哈尔滨工业大学（深圳） | 一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法 |
| CN112802113A (zh) * | 2021-02-05 | 2021-05-14 | 梅卡曼德（北京）机器人科技有限公司 | 一种任意形状物体的抓取点确定方法 |
| CN113610921A (zh) * | 2021-08-06 | 2021-11-05 | 沈阳风驰软件股份有限公司 | 混合工件抓取方法、设备及计算机可读存储介质 |
| CN114494775A (zh) * | 2022-01-24 | 2022-05-13 | 深圳市英威诺科技有限公司 | 视频切分方法、装置、设备及存储介质 |
| JP2022117534A (ja) * | 2021-02-01 | 2022-08-12 | 国立研究開発法人農業・食品産業技術総合研究機構 | ピッキングシステム |
-
2022
- 2022-11-14 CN CN202211425857.9A patent/CN115741690B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007020449A (ja) * | 2005-07-14 | 2007-02-01 | Olympus Corp | スクリーニング方法およびスクリーニング装置 |
| KR20110133229A (ko) * | 2010-06-04 | 2011-12-12 | 부경대학교 산학협력단 | 용접용 필러 와이어 및 이를 이용한 용접방법 |
| CN103706571A (zh) * | 2013-12-27 | 2014-04-09 | 西安航天精密机电研究所 | 一种视觉定位分拣方法 |
| CN106127749A (zh) * | 2016-06-16 | 2016-11-16 | 华南理工大学 | 基于视觉注意机制的目标零件识别方法 |
| CN107883929A (zh) * | 2017-09-22 | 2018-04-06 | 中冶赛迪技术研究中心有限公司 | 基于多关节机械臂的单目视觉定位装置及方法 |
| CN108668637A (zh) * | 2018-04-25 | 2018-10-19 | 江苏大学 | 一种机器视觉自然放置葡萄串抓取点定位方法 |
| KR20200097572A (ko) * | 2019-02-08 | 2020-08-19 | 한양대학교 산학협력단 | 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법 |
| CN112508826A (zh) * | 2020-11-16 | 2021-03-16 | 哈尔滨工业大学（深圳） | 一种基于特征配准及梯度形状匹配融合的印刷品缺陷检测方法 |
| JP2022117534A (ja) * | 2021-02-01 | 2022-08-12 | 国立研究開発法人農業・食品産業技術総合研究機構 | ピッキングシステム |
| CN112802113A (zh) * | 2021-02-05 | 2021-05-14 | 梅卡曼德（北京）机器人科技有限公司 | 一种任意形状物体的抓取点确定方法 |
| CN113610921A (zh) * | 2021-08-06 | 2021-11-05 | 沈阳风驰软件股份有限公司 | 混合工件抓取方法、设备及计算机可读存储介质 |
| CN114494775A (zh) * | 2022-01-24 | 2022-05-13 | 深圳市英威诺科技有限公司 | 视频切分方法、装置、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| A Method for Positioning Mark Point on Liquid Crystal Glass Based on Machine Vision;Zou, F;IEEE;20210326;3989-3994 * |
| 个性化定制茶罐外轮廓视觉检测技术研究;王立凡;中国优秀硕士学位论文全文数据库;20220215(第2（2022）期);B024-350 * |
| 基于机器视觉的香烟滤棒圆度检测算法研究;韩亮亮;中国优秀硕士学位论文全文数据库;20140515(第5（2014）期);I138-3022 * |
| 工业机器人抓取中的视觉定位方法研究;夏广远;中国优秀硕士学位论文全文数据库;20220315(第3（20220期);I138-1651 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115741690A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310264B (zh) | 一种基于dcnn的大尺度目标检测方法、装置 | |
| CN108229470B (zh) | 文字图像处理方法、装置、设备及存储介质 | |
| CN115741690B (zh) | 一种料包抓取方法、系统、电子设备及存储介质 | |
| Rezazadeh Azar et al. | Automated visual recognition of dump trucks in construction videos | |
| Zhu et al. | Concrete column recognition in images and videos | |
| US9483712B2 (en) | Method for accurately determining the position and orientation of each of a plurality of identical recognition target objects in a search target image | |
| CN111091023A (zh) | 一种车辆检测方法、装置及电子设备 | |
| CN110147748B (zh) | 一种基于道路边缘检测的移动机器人障碍物识别方法 | |
| CN111783569A (zh) | 一种自助托运系统的行李规格检测与人包信息绑定方法 | |
| CN110378891A (zh) | 一种基于太赫兹图像的危险品检测方法、装置及设备 | |
| Barodi et al. | Applying real-time object shapes detection to automotive traffic roads signs | |
| CN113256632B (zh) | 集装箱的掏箱检测方法、装置、设备及存储介质 | |
| WO2023166411A1 (en) | Automatic digital inspection of railway environment | |
| CN113978987B (zh) | 栈板物品打包提货方法、装置、设备及介质 | |
| CN117853573A (zh) | 一种视频处理方法、装置、电子设备及计算机可读介质 | |
| CN114708192A (zh) | 一种目标物计数方法、系统、存储介质及计算机设备 | |
| Zhao et al. | Mobile-based hazmat sign detection and recognition | |
| CN113780269A (zh) | 图像识别方法、装置、计算机系统及可读存储介质 | |
| CN112509050A (zh) | 一种位姿估计方法、防碰撞抓物方法和装置 | |
| CN112101264A (zh) | 集装箱装卸方法、系统、电子设备及计算机可读介质 | |
| Ladányi et al. | Automatic buildings detection using Sobel, Roberts, Canny and Prewwitt detector | |
| Tsai et al. | Exploring traffic features on google street view images | |
| CN118397492B (zh) | 监控数据处理方法及装置、存储介质、终端 | |
| KR102722558B1 (ko) | 작업현장 위험감지 시스템 | |
| Saglam et al. | Efficient Maritime Object Detection and Validation for Enhancing Safety of Uncrewed Marine Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |