CN117124302B - 一种零件分拣方法、装置、电子设备及存储介质 - Google Patents
一种零件分拣方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117124302B CN117124302B CN202311382717.2A CN202311382717A CN117124302B CN 117124302 B CN117124302 B CN 117124302B CN 202311382717 A CN202311382717 A CN 202311382717A CN 117124302 B CN117124302 B CN 117124302B
- Authority
- CN
- China
- Prior art keywords
- pixel
- effective
- point
- coordinates
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000002372 labelling Methods 0.000 claims abstract description 54
- 238000013528 artificial neural network Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请属于机械臂控制技术领域，公开了一种零件分拣方法、装置、电子设备及存储介质，所述方法包括：构建用于识别零件的位姿状态的神经网络识别模型；检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；在传送带暂停移动后，通过RGB‑D双目深度相机采集零件的RGB图和深度图；把该RGB图输入神经网络识别模型，得到神经网络识别模型输出的零件的位姿状态识别结果和标注框；根据零件的位姿状态和标注框，基于RGB图和深度图计算零件的中心点的三维世界坐标；根据零件的中心点的三维世界坐标控制机械臂对零件进行抓取和分拣；从而能够准确地估算该零件中心点的三维世界坐标，进而保证机械臂对零件的准确抓取。
Description
技术领域
本申请涉及机械臂控制技术领域，具体而言，涉及一种零件分拣方法、装置、电子设备及存储介质。
背景技术
基于视觉的精准识别、精准定位和精准作业的视觉分拣技术是双臂工业机器人柔性精密装配系统中重要单元之一。其中，基于相机的位姿精准识别是完成分拣任务的关键，传统的二维位姿识别方法主要基于图像处理和模型识别技术，其识别准确度和鲁棒性有限。例如，当物品处于倾斜或旋转状态下时，传统方法无法准确地识别其位置和姿态，导致分拣错误率较高，影响了分拣效率和质量。采用三维位姿识别方法能有效地避免上述问题的出现，不仅能提高分拣的质量，还能提高分拣系统对于不同规格零件的适应性。
双目相机可以捕捉两个不同视角下的零件图像，能够获取并保存零件的三维信息，多用于零件三维位姿识别的应用场景。然而，在实际应用中，当待分拣的零件无序堆放的时候，零件之间可能存在堆叠的情况，从而导致双目相机获取不到零件完整的三维信息，进而影响机械臂对零件的准确抓取。因此，亟需开发一种零件分拣方法，能够准确地估算该零件中心点的三维世界坐标，从而保证机械臂对零件的准确抓取。
发明内容
本申请的目的在于提供一种点云融合模型获取方法、装置、电子设备及存储介质，能够准确地估算该零件中心点的三维世界坐标，从而保证机械臂对零件的准确抓取。
第一方面，本申请提供了一种零件分拣方法，用于对无序堆放在传送带上的零件进行分拣，包括步骤：
A1.构建用于识别零件的位姿状态的神经网络识别模型；
A2.通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；
A3.在所述传送带暂停移动后，通过所述RGB-D双目深度相机采集所述零件的RGB图和深度图；
A4.把所述RGB图输入所述神经网络识别模型，得到所述神经网络识别模型输出的所述零件的位姿状态识别结果和标注框；
A5.根据所述零件的位姿状态和所述标注框，基于所述RGB图和所述深度图计算所述零件的中心点的三维世界坐标；
A6.根据所述零件的中心点的三维世界坐标控制所述机械臂对所述零件进行抓取和分拣。
通过上述方式，能够在RGB-D双目深度相机拍摄的零件图像中存在零件的三维点丢失的情况下，准确地估算该零件中心点的三维世界坐标，从而保证机械臂对零件的准确抓取和分拣。
优选地，所述位姿状态包括正面朝上、背面朝上和侧面朝上。
通过识别位姿状态，后续根据不同的位姿状态采用不同的方法进行零件的中心点的三维世界坐标的计算，可提高计算结果的准确性，从而提高对零件抓取的可靠性。
优选地，步骤A1包括：
获取在传送带上无序堆放的零件的多个RGB图片，记为第一图片；
对每一个所述第一图片中的各所述零件进行标注，以标注出各所述零件的位姿状态，得到训练图像数据集；
利用所述训练图像数据集对预先建立的Yolov8神经网络模型进行训练，得到所述神经网络识别模型。
优选地，步骤A5包括：
A501.以所述RGB图中位于所述标注框内的像素点为第一像素点，获取各所述第一像素点的像素坐标；
A502.以所述深度图中与所述第一像素点对应的像素点为第二像素点，根据所述第一像素点的像素坐标获取所述第二像素点的像素坐标和深度；
A503.根据所述第二像素点的深度确定有效第一像素点和有效第二像素点；所述有效第一像素点和所述有效第二像素点均为所述零件上的像素点；
A504.根据有效第一像素点的像素坐标、所述有效第二像素点的像素坐标和深度以及所述零件的位姿状态，计算所述零件的中心点的三维世界坐标。
优选地，步骤A504包括：
S1.根据所述有效第二像素点的深度，计算所述零件的中心点的深度坐标；
S2.根据所述零件的位姿状态、所述有效第一像素点的像素坐标和所述有效第二像素点的像素坐标，计算所述零件的中心点在三维世界坐标系下的横坐标和纵坐标；
S3.用所述零件的中心点在三维世界坐标系下的横坐标和纵坐标以及所述零件的中心点的深度坐标组成所述零件的中心点的三维世界坐标。
优选地，步骤S1包括：
计算所述有效第二像素点的深度的平均值，作为所述零件的中心点的深度坐标。
优选地，步骤S2包括：
若所述零件的位姿状态为正面朝上或背面朝上，则获取所述标注框中心点的像素坐标作为第一中心像素坐标，若所述零件的位姿状态为侧面朝上，则获取所述零件的最小外接矩形中心的像素坐标作为第一中心像素坐标；
计算所述有效第二像素点的像素坐标对应的世界坐标；所述世界坐标为在所述三维世界坐标系下的坐标；
根据所述第一中心像素坐标、有效第二像素点的世界坐标和所述有效第一像素点的像素坐标，计算所述有效第一像素点的世界坐标；
根据各所述有效第一像素点的世界坐标，利用kmeans算法估计所述零件的中心点在三维世界坐标系下的横坐标和纵坐标。
根据不同的位姿状态采用不同的第一中心像素坐标进行零件的中心点的三维世界坐标的计算，可提高计算结果的准确性，从而提高对零件抓取的可靠性。
第二方面，本申请提供了一种零件分拣装置，用于对无序堆放在传送带上的零件进行分拣，包括：
模型构建模块，用于构建用于识别零件的位姿状态的神经网络识别模型；
控制模块，用于通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；
采集模块，用于在所述传送带暂停移动后，通过所述RGB-D双目深度相机采集所述零件的RGB图和深度图；
识别模块，用于把所述RGB图输入所述神经网络识别模型，得到所述神经网络识别模型输出的所述零件的位姿状态识别结果和标注框；
计算模块，用于根据所述零件的位姿状态和所述标注框，基于所述RGB图和所述深度图计算所述零件的中心点的三维世界坐标；
分拣模块，用于根据所述零件的中心点的三维世界坐标控制所述机械臂对所述零件进行抓取和分拣。
第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述零件分拣方法中的步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述零件分拣方法中的步骤。
有益效果：
本申请提供的零件分拣方法、装置、电子设备及存储介质，构建用于识别零件的位姿状态的神经网络识别模型；通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；在所述传送带暂停移动后，通过所述RGB-D双目深度相机采集所述零件的RGB图和深度图；把所述RGB图输入所述神经网络识别模型，得到所述神经网络识别模型输出的所述零件的位姿状态识别结果和标注框；根据所述零件的位姿状态和所述标注框，基于所述RGB图和所述深度图计算所述零件的中心点的三维世界坐标；根据所述零件的中心点的三维世界坐标控制所述机械臂对所述零件进行抓取和分拣；从而能够准确地估算该零件中心点的三维世界坐标，进而保证机械臂对零件的准确抓取。
附图说明
图1为本申请实施例提供的零件分拣方法的流程图。
图2为本申请实施例提供的零件分拣装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
标号说明：1、模型构建模块；2、控制模块；3、采集模块；4、识别模块；5、计算模块；6、分拣模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种零件分拣方法，用于对无序堆放在传送带上的零件进行分拣，包括步骤：
A1.构建用于识别零件的位姿状态的神经网络识别模型；
A2.通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；
A3.在传送带暂停移动后，通过RGB-D双目深度相机采集零件的RGB图和深度图；
A4.把该RGB图输入神经网络识别模型，得到神经网络识别模型输出的零件的位姿状态识别结果和标注框；
A5.根据零件的位姿状态和标注框，基于RGB图和深度图计算零件的中心点的三维世界坐标；
A6.根据零件的中心点的三维世界坐标控制机械臂对零件进行抓取和分拣。
通过上述方式，能够在RGB-D双目深度相机拍摄的零件图像中存在零件的三维点丢失的情况下，准确地估算该零件中心点的三维世界坐标，从而保证机械臂对零件的准确抓取和分拣。
具体地，位姿状态包括正面朝上、背面朝上和侧面朝上。该零件分拣方法适用于具有相对设置的正面和背面以及位于正面和背面之间的侧面的零件。通过识别位姿状态，后续根据不同的位姿状态采用不同的方法进行零件的中心点的三维世界坐标的计算，可提高计算结果的准确性，从而提高对零件抓取的可靠性。
优选地，步骤A1包括：
A101.获取在传送带上无序堆放的零件的多个RGB图片，记为第一图片；
A102.对每一个第一图片中的各零件进行标注，以标注出各零件的位姿状态，得到训练图像数据集；
A103.利用训练图像数据集对预先建立的Yolov8神经网络模型进行训练，得到神经网络识别模型。
其中，第一图片是利用相机垂直朝下地拍摄传送带得到的图片，拍摄时通过传送带上方的照明设备进行照明，以使零件的特征清晰暴露在相机的视场下。
步骤A102中，可使用标注程序labelImg进行标注，标注结果包括各零件的标注框和对应的位姿状态。标注好的每个第一图片为标注图片，则训练图像数据集包含多个标准图片。
其中，利用标准图片对神经网络模型进行训练的过程为现有技术，此处不对其进行详述。Yolov8神经网络模型具有较快的推理速度和较高的精度，且易于训练和调整，选用Yolov8神经网络模型作为识别模型，能够快速准确地进行位姿状态识别。
在一些实施方式中，步骤A2包括：
利用RGB-D双目深度相机实时采集传送带的图片，记为实时图片；该实时图片包括实时RGB图片和实时深度图片；
若实时RGB图片中的预设抓取区域（预设抓取区域为机械臂的可夹取范围与传动带上表面的交集在相机的图像坐标系下的像素区域，可预先标定得到）中具有数量超过第一预设数量阈值（可根据实际需要设置）的颜色与传送带上表面颜色不同的像素点，则把这些像素点记为待验证像素点；
根据实时深度图片获取待验证像素点的深度；
若有超过第二预设数量阈值（可根据实际需要设置，但第二预设数量阈值小于第一预设数量阈值）的待验证像素点的深度小于传送带上表面的像素点的平均深度，则判定有零件进入机械臂的可夹取范围内。
综合颜色和深度来分析是否有零件进入机械臂的可夹取范围，判断结果准确。
实际上，也可以仅根据颜色或仅根据深度来判断否有零件进入机械臂的可夹取范围。具体地，仅根据颜色进行判断时，若实时RGB图片中的预设抓取区域中具有数量超过第一预设数量阈值的颜色与传送带上表面颜色不同的像素点，则判定有零件进入机械臂的可夹取范围内。仅根据深度进行判断时，根据实时深度图片获取实时RGB图片中的预设抓取区域的各像素点的深度，若深度小于第一预设深度（可根据相机与传送带上表面的实际距离设置）的像素点的数量超过第三预设数量阈值（可根据实际需要设置），则判定有零件进入机械臂的可夹取范围内。但具体判断方法不限于此。
其中，RGB-D双目深度相机保持垂直朝下地对传送带进行拍摄，且保持与传送带的相对位置固定。拍摄时通过传送带上方的照明设备进行照明，以使零件的特征清晰暴露在相机的视场下。
步骤A4中，把零件的RGB图输入神经网络识别模型，神经网络识别模型会输出带标注的RGB图，该带标注的RGB图中具有各零件的标注框和对应的位姿状态识别结果（该位姿状态识别结果为正面朝上、背面朝上或侧面朝上）。
优选地，步骤A5包括：
A501.以RGB图中位于标注框内的像素点为第一像素点，获取各第一像素点的像素坐标；
A502.以深度图中与第一像素点对应的像素点为第二像素点，根据第一像素点的像素坐标获取第二像素点的像素坐标和深度；
A503.根据第二像素点的深度确定有效第一像素点和有效第二像素点；有效第一像素点和有效第二像素点均为零件上的像素点；
A504.根据有效第一像素点的像素坐标、有效第二像素点的像素坐标和深度以及零件的位姿状态，计算零件的中心点的三维世界坐标。
其中，步骤A502中，可根据以下公式确定第二像素点：
；
其中，为第一像素点的像素坐标，为与该第一像素点对应的第二像素点的像素坐标，为单应性矩阵（预先标定得到）。
第二像素点的深度实际也是与该第二像素点对应的第一像素点的深度。
其中，步骤A503中，把深度小于RGB-D双目深度到传送带上表面的距离（预先标定得到）的第二像素点确定为有效第二像素点，并把与有效第二像素点对应的第一像素点确定为有效第一像素点。
其中，步骤A504包括：
S1.根据有效第二像素点的深度，计算零件的中心点的深度坐标；
S2.根据零件的位姿状态、有效第一像素点的像素坐标和有效第二像素点的像素坐标，计算零件的中心点在三维世界坐标系下的横坐标和纵坐标；
S3.用零件的中心点在三维世界坐标系下的横坐标和纵坐标以及零件的中心点的深度坐标组成零件的中心点的三维世界坐标。
具体地，步骤S1包括：
计算有效第二像素点的深度的平均值，作为零件的中心点的深度坐标。
即用所有有效第二像素点的深度之和除以有效第二像素点的总数量，得到零件的中心点的深度坐标。
具体地，步骤S2包括：
S201.若零件的位姿状态为正面朝上或背面朝上，则获取标注框中心点的像素坐标作为第一中心像素坐标，若零件的位姿状态为侧面朝上，则获取零件的最小外接矩形中心的像素坐标作为第一中心像素坐标；
S202.计算有效第二像素点的像素坐标对应的世界坐标；世界坐标为在三维世界坐标系下的坐标；
S203.根据第一中心像素坐标、有效第二像素点的世界坐标和有效第一像素点的像素坐标，计算有效第一像素点的世界坐标；
S204.根据各有效第一像素点的世界坐标，利用kmeans算法估计零件的中心点在三维世界坐标系下的横坐标和纵坐标。
根据不同的位姿状态采用不同的第一中心像素坐标进行零件的中心点的三维世界坐标的计算，可提高计算结果的准确性，从而提高对零件抓取的可靠性。
其中，获取标注框中心点的像素坐标作为第一中心像素坐标时，可以计算标注框的两个对角像素点（即位于对角上的像素点）的横像素坐标的平均值作为第一中心像素坐标的横坐标，并计算该两个对角像素点的纵像素坐标的平均值作为第一中心像素坐标的纵坐标。用公式表示为：
；
；
其中，为第一中心像素坐标的横坐标（等于标注框中心点的横像素坐标），为第一中心像素坐标的纵坐标（等于标注框中心点的纵像素坐标），、为标注框的两个对角像素点的横像素坐标，、为标注框的两个对角像素点的纵像素坐标。
实际上，也可分别针对两组对角像素点（每组两个）通过上述计算过程计算得到第一中心像素坐标作为初步的第一中心像素坐标，然后计算两个初步的第一中心像素坐标的均值作为最终的第一中心像素坐标。
其中，获取零件的最小外接矩形中心的像素坐标作为第一中心像素坐标时，可以对零件的RGB图进行颜色分割和深度分割，得到二值图像，然后对该二值图像进行去噪和填充，在去噪和填充后的二值图像中生成零件的最小外接矩形，最后获取该最小外接矩形中心点的像素坐标作为第一中心像素坐标（具体过程参考前文的标注框中心点的像素坐标的计算方法）。
步骤S202中，计算有效第二像素点的像素坐标对应的世界坐标时，可利用预先标定的深度图图像坐标与世界坐标之间的转换矩阵进行转换运算，此为现有技术，不对其进行详述。
步骤S203中，根据以下公式计算有效第一像素点的世界坐标：
；
；
其中，为有效第一像素点的世界坐标的横坐标，为有效第一像素点的世界坐标的纵坐标，为该有效第一像素点对应的有效第二像素点的世界坐标的横坐标，为该有效第一像素点对应的有效第二像素点的世界坐标的纵坐标，为该有效第一像素点的横像素坐标，该有效第一像素点的纵像素坐标，为零件宽度（为已知量）与标注框的像素宽度之间的比值。
步骤S204中，根据各有效第一像素点的世界坐标，利用kmeans算法估计零件的中心点在三维世界坐标系下的横坐标和纵坐标。其中kmeans算法为现有技术，此处不对其进行详述，其中，使用kmeans算法估计零件的中心点在三维世界坐标系下的横坐标和纵坐标的时候，需要输入的参数包括由所有有效第一像素点的世界坐标组成的坐标数组、簇数和最大迭代次数；在本实施例中，簇数为1，最大迭代次数为50（最大迭代次数可根据实际需要设置，不限于是50）。
步骤S3中，得到的零件的中心点的三维世界坐标为：
；其中，、分别为零件的中心点在三维世界坐标系下的横坐标和纵坐标，为零件的中心点的深度坐标。
在一些实施方式中，步骤A6中，通过图像识别方法识别零件的类别，然后根据零件的中心点的三维世界坐标控制机械臂的末端移动至对应位置抓取零件，最后根据零件的类别控制机械臂的末端移动至对应的分拣箱，最后控制机械臂释放该零件，使该零件落入对应的分拣箱中。
由上可知，该零件分拣方法，构建用于识别零件的位姿状态的神经网络识别模型；通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；在传送带暂停移动后，通过RGB-D双目深度相机采集零件的RGB图和深度图；把该RGB图输入神经网络识别模型，得到神经网络识别模型输出的零件的位姿状态识别结果和标注框；根据零件的位姿状态和标注框，基于RGB图和深度图计算零件的中心点的三维世界坐标；根据零件的中心点的三维世界坐标控制机械臂对零件进行抓取和分拣；从而能够准确地估算该零件中心点的三维世界坐标，进而保证机械臂对零件的准确抓取。
参考图2，本申请提供了一种零件分拣装置，用于对无序堆放在传送带上的零件进行分拣，包括：
模型构建模块1，用于构建用于识别零件的位姿状态的神经网络识别模型；
控制模块2，用于通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；
采集模块3，用于在传送带暂停移动后，通过RGB-D双目深度相机采集零件的RGB图和深度图；
识别模块4，用于把RGB图输入神经网络识别模型，得到神经网络识别模型输出的零件的位姿状态识别结果和标注框；
计算模块5，用于根据零件的位姿状态和标注框，基于RGB图和深度图计算零件的中心点的三维世界坐标；
分拣模块6，用于根据零件的中心点的三维世界坐标控制机械臂对零件进行抓取和分拣。
能够在RGB-D双目深度相机拍摄的零件图像中存在零件的三维点丢失的情况下，准确地估算该零件中心点的三维世界坐标，从而保证机械臂对零件的准确抓取和分拣。
具体地，位姿状态包括正面朝上、背面朝上和侧面朝上。该零件分拣装置适用于具有相对设置的正面和背面以及位于正面和背面之间的侧面的零件。通过识别位姿状态，后续根据不同的位姿状态采用不同的方法进行零件的中心点的三维世界坐标的计算，可提高计算结果的准确性，从而提高对零件抓取的可靠性。
优选地，模型构建模块1在构建用于识别零件的位姿状态的神经网络识别模型的时候，执行：
A101.获取在传送带上无序堆放的零件的多个RGB图片，记为第一图片；
A102.对每一个第一图片中的各零件进行标注，以标注出各零件的位姿状态，得到训练图像数据集；
A103.利用训练图像数据集对预先建立的Yolov8神经网络模型进行训练，得到神经网络识别模型。
其中，第一图片是利用相机垂直朝下地拍摄传送带得到的图片，拍摄时通过传送带上方的照明设备进行照明，以使零件的特征清晰暴露在相机的视场下。
步骤A102中，可使用标注程序labelImg进行标注，标注结果包括各零件的标注框和对应的位姿状态。标注好的每个第一图片为标注图片，则训练图像数据集包含多个标准图片。
其中，利用标准图片对神经网络模型进行训练的过程为现有技术，此处不对其进行详述。Yolov8神经网络模型具有较快的推理速度和较高的精度，且易于训练和调整，选用Yolov8神经网络模型作为识别模型，能够快速准确地进行位姿状态识别。
在一些实施方式中，控制模块2在通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动的时候，执行：
利用RGB-D双目深度相机实时采集传送带的图片，记为实时图片；该实时图片包括实时RGB图片和实时深度图片；
若实时RGB图片中的预设抓取区域（预设抓取区域为机械臂的可夹取范围与传动带上表面的交集在相机的图像坐标系下的像素区域，可预先标定得到）中具有数量超过第一预设数量阈值（可根据实际需要设置）的颜色与传送带上表面颜色不同的像素点，则把这些像素点记为待验证像素点；
根据实时深度图片获取待验证像素点的深度；
若有超过第二预设数量阈值（可根据实际需要设置，但第二预设数量阈值小于第一预设数量阈值）的待验证像素点的深度小于传送带上表面的像素点的平均深度，则判定有零件进入机械臂的可夹取范围内。
综合颜色和深度来分析是否有零件进入机械臂的可夹取范围，判断结果准确。
实际上，也可以仅根据颜色或仅根据深度来判断否有零件进入机械臂的可夹取范围。具体地，仅根据颜色进行判断时，若实时RGB图片中的预设抓取区域中具有数量超过第一预设数量阈值的颜色与传送带上表面颜色不同的像素点，则判定有零件进入机械臂的可夹取范围内。仅根据深度进行判断时，根据实时深度图片获取实时RGB图片中的预设抓取区域的各像素点的深度，若深度小于第一预设深度（可根据相机与传送带上表面的实际距离设置）的像素点的数量超过第三预设数量阈值（可根据实际需要设置），则判定有零件进入机械臂的可夹取范围内。但具体判断方法不限于此。
其中，RGB-D双目深度相机保持垂直朝下地对传送带进行拍摄，且保持与传送带的相对位置固定。拍摄时通过传送带上方的照明设备进行照明，以使零件的特征清晰暴露在相机的视场下。
识别模块4把零件的RGB图输入神经网络识别模型，神经网络识别模型会输出带标注的RGB图，该带标注的RGB图中具有各零件的标注框和对应的位姿状态识别结果（该位姿状态识别结果为正面朝上、背面朝上或侧面朝上）。
优选地，计算模块5在根据零件的位姿状态和标注框，基于RGB图和深度图计算零件的中心点的三维世界坐标的时候，执行：
A501.以RGB图中位于标注框内的像素点为第一像素点，获取各第一像素点的像素坐标；
A502.以深度图中与第一像素点对应的像素点为第二像素点，根据第一像素点的像素坐标获取第二像素点的像素坐标和深度；
A503.根据第二像素点的深度确定有效第一像素点和有效第二像素点；有效第一像素点和有效第二像素点均为零件上的像素点；
A504.根据有效第一像素点的像素坐标、有效第二像素点的像素坐标和深度以及零件的位姿状态，计算零件的中心点的三维世界坐标。
其中，步骤A502中，可根据以下公式确定第二像素点：
；
其中，为第一像素点的像素坐标，为与该第一像素点对应的第二像素点的像素坐标，为单应性矩阵（预先标定得到）。
第二像素点的深度实际也是与该第二像素点对应的第一像素点的深度。
其中，步骤A503中，把深度小于RGB-D双目深度到传送带上表面的距离（预先标定得到）的第二像素点确定为有效第二像素点，并把与有效第二像素点对应的第一像素点确定为有效第一像素点。
其中，步骤A504包括：
S1.根据有效第二像素点的深度，计算零件的中心点的深度坐标；
S2.根据零件的位姿状态、有效第一像素点的像素坐标和有效第二像素点的像素坐标，计算零件的中心点在三维世界坐标系下的横坐标和纵坐标；
S3.用零件的中心点在三维世界坐标系下的横坐标和纵坐标以及零件的中心点的深度坐标组成零件的中心点的三维世界坐标。
具体地，步骤S1包括：
计算有效第二像素点的深度的平均值，作为零件的中心点的深度坐标。
即用所有有效第二像素点的深度之和除以有效第二像素点的总数量，得到零件的中心点的深度坐标。
具体地，步骤S2包括：
S201.若零件的位姿状态为正面朝上或背面朝上，则获取标注框中心点的像素坐标作为第一中心像素坐标，若零件的位姿状态为侧面朝上，则获取零件的最小外接矩形中心的像素坐标作为第一中心像素坐标；
S202.计算有效第二像素点的像素坐标对应的世界坐标；世界坐标为在三维世界坐标系下的坐标；
S203.根据第一中心像素坐标、有效第二像素点的世界坐标和有效第一像素点的像素坐标，计算有效第一像素点的世界坐标；
S204.根据各有效第一像素点的世界坐标，利用kmeans算法估计零件的中心点在三维世界坐标系下的横坐标和纵坐标。
根据不同的位姿状态采用不同的第一中心像素坐标进行零件的中心点的三维世界坐标的计算，可提高计算结果的准确性，从而提高对零件抓取的可靠性。
其中，获取标注框中心点的像素坐标作为第一中心像素坐标时，可以计算标注框的两个对角像素点（即位于对角上的像素点）的横像素坐标的平均值作为第一中心像素坐标的横坐标，并计算该两个对角像素点的纵像素坐标的平均值作为第一中心像素坐标的纵坐标。用公式表示为：
；
；
其中，为第一中心像素坐标的横坐标（等于标注框中心点的横像素坐标），为第一中心像素坐标的纵坐标（等于标注框中心点的纵像素坐标），、为标注框的两个对角像素点的横像素坐标，、为标注框的两个对角像素点的纵像素坐标。
实际上，也可分别针对两组对角像素点（每组两个）通过上述计算过程计算得到第一中心像素坐标作为初步的第一中心像素坐标，然后计算两个初步的第一中心像素坐标的均值作为最终的第一中心像素坐标。
其中，获取零件的最小外接矩形中心的像素坐标作为第一中心像素坐标时，可以对零件的RGB图进行颜色分割和深度分割，得到二值图像，然后对该二值图像进行去噪和填充，在去噪和填充后的二值图像中生成零件的最小外接矩形，最后获取该最小外接矩形中心点的像素坐标作为第一中心像素坐标（具体过程参考前文的标注框中心点的像素坐标的计算方法）。
步骤S202中，计算有效第二像素点的像素坐标对应的世界坐标时，可利用预先标定的深度图图像坐标与世界坐标之间的转换矩阵进行转换运算，此为现有技术，不对其进行详述。
步骤S203中，根据以下公式计算有效第一像素点的世界坐标：
；
；
其中，为有效第一像素点的世界坐标的横坐标，为有效第一像素点的世界坐标的纵坐标，为该有效第一像素点对应的有效第二像素点的世界坐标的横坐标，为该有效第一像素点对应的有效第二像素点的世界坐标的纵坐标，为该有效第一像素点的横像素坐标，该有效第一像素点的纵像素坐标，为零件宽度（为已知量）与标注框的像素宽度之间的比值。
步骤S204中，根据各有效第一像素点的世界坐标，利用kmeans算法估计零件的中心点在三维世界坐标系下的横坐标和纵坐标。其中kmeans算法为现有技术，此处不对其进行详述，其中，使用kmeans算法估计零件的中心点在三维世界坐标系下的横坐标和纵坐标的时候，需要输入的参数包括由所有有效第一像素点的世界坐标组成的坐标数组、簇数和最大迭代次数；在本实施例中，簇数为1，最大迭代次数为50（最大迭代次数可根据实际需要设置，不限于是50）。
步骤S3中，得到的零件的中心点的三维世界坐标为：
；其中，、分别为零件的中心点在三维世界坐标系下的横坐标和纵坐标，为零件的中心点的深度坐标。
在一些实施方式中，分拣模块6在根据零件的中心点的三维世界坐标控制机械臂对零件进行抓取和分拣的时候，通过图像识别方法识别零件的类别，然后根据零件的中心点的三维世界坐标控制机械臂的末端移动至对应位置抓取零件，最后根据零件的类别控制机械臂的末端移动至对应的分拣箱，最后控制机械臂释放该零件，使该零件落入对应的分拣箱中。
由上可知，该零件分拣装置，构建用于识别零件的位姿状态的神经网络识别模型；通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；在传送带暂停移动后，通过RGB-D双目深度相机采集零件的RGB图和深度图；把该RGB图输入神经网络识别模型，得到神经网络识别模型输出的零件的位姿状态识别结果和标注框；根据零件的位姿状态和标注框，基于RGB图和深度图计算零件的中心点的三维世界坐标；根据零件的中心点的三维世界坐标控制机械臂对零件进行抓取和分拣；从而能够准确地估算该零件中心点的三维世界坐标，进而保证机械臂对零件的准确抓取。
请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的零件分拣方法，以实现以下功能：构建用于识别零件的位姿状态的神经网络识别模型；通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；在传送带暂停移动后，通过RGB-D双目深度相机采集零件的RGB图和深度图；把该RGB图输入神经网络识别模型，得到神经网络识别模型输出的零件的位姿状态识别结果和标注框；根据零件的位姿状态和标注框，基于RGB图和深度图计算零件的中心点的三维世界坐标；根据零件的中心点的三维世界坐标控制机械臂对零件进行抓取和分拣。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的零件分拣方法，以实现以下功能：构建用于识别零件的位姿状态的神经网络识别模型；通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；在传送带暂停移动后，通过RGB-D双目深度相机采集零件的RGB图和深度图；把该RGB图输入神经网络识别模型，得到神经网络识别模型输出的零件的位姿状态识别结果和标注框；根据零件的位姿状态和标注框，基于RGB图和深度图计算零件的中心点的三维世界坐标；根据零件的中心点的三维世界坐标控制机械臂对零件进行抓取和分拣。其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（ElectricallyErasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (6)
1.一种零件分拣方法，用于对无序堆放在传送带上的零件进行分拣，所述零件具有相对设置的正面和背面以及位于正面和背面之间的侧面，其特征在于，包括步骤：
A1.构建用于识别零件的位姿状态的神经网络识别模型；
A2.通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；
A3.在所述传送带暂停移动后，通过所述RGB-D双目深度相机采集所述零件的RGB图和深度图；
A4.把所述RGB图输入所述神经网络识别模型，得到所述神经网络识别模型输出的所述零件的位姿状态识别结果和标注框；所述位姿状态包括正面朝上、背面朝上和侧面朝上；
A5.根据所述零件的位姿状态和所述标注框，基于所述RGB图和所述深度图计算所述零件的中心点的三维世界坐标；
A6.根据所述零件的中心点的三维世界坐标控制所述机械臂对所述零件进行抓取和分拣；
步骤A5包括：
A501.以所述RGB图中位于所述标注框内的像素点为第一像素点，获取各所述第一像素点的像素坐标；
A502.以所述深度图中与所述第一像素点对应的像素点为第二像素点，根据所述第一像素点的像素坐标获取所述第二像素点的像素坐标和深度；
A503.根据所述第二像素点的深度确定有效第一像素点和有效第二像素点；所述有效第一像素点和所述有效第二像素点均为所述零件上的像素点；
A504.根据有效第一像素点的像素坐标、所述有效第二像素点的像素坐标和深度以及所述零件的位姿状态，计算所述零件的中心点的三维世界坐标；
步骤A504包括：
S1.根据所述有效第二像素点的深度，计算所述零件的中心点的深度坐标；
S2.根据所述零件的位姿状态、所述有效第一像素点的像素坐标和所述有效第二像素点的像素坐标，计算所述零件的中心点在三维世界坐标系下的横坐标和纵坐标；
S3.用所述零件的中心点在三维世界坐标系下的横坐标和纵坐标以及所述零件的中心点的深度坐标组成所述零件的中心点的三维世界坐标；
步骤S2包括：
若所述零件的位姿状态为正面朝上或背面朝上，则获取所述标注框中心点的像素坐标作为第一中心像素坐标，若所述零件的位姿状态为侧面朝上，则获取所述零件的最小外接矩形中心的像素坐标作为第一中心像素坐标；
计算所述有效第二像素点的像素坐标对应的世界坐标；所述世界坐标为在所述三维世界坐标系下的坐标；
根据所述第一中心像素坐标、所述有效第二像素点的世界坐标和所述有效第一像素点的像素坐标，计算所述有效第一像素点的世界坐标；
根据各所述有效第一像素点的世界坐标，利用kmeans算法估计所述零件的中心点在三维世界坐标系下的横坐标和纵坐标。
2.根据权利要求1所述的零件分拣方法，其特征在于，步骤A1包括：
获取在传送带上无序堆放的零件的多个RGB图片，记为第一图片；
对每一个所述第一图片中的各所述零件进行标注，以标注出各所述零件的位姿状态，得到训练图像数据集；
利用所述训练图像数据集对预先建立的Yolov8神经网络模型进行训练，得到所述神经网络识别模型。
3.根据权利要求1所述的零件分拣方法，其特征在于，步骤S1包括：
计算所述有效第二像素点的深度的平均值，作为所述零件的中心点的深度坐标。
4.一种零件分拣装置，用于对无序堆放在传送带上的零件进行分拣，所述零件具有相对设置的正面和背面以及位于正面和背面之间的侧面，其特征在于，包括：
模型构建模块，用于构建用于识别零件的位姿状态的神经网络识别模型；
控制模块，用于通过RGB-D双目深度相机检测到有零件进入机械臂的可夹取范围内时，发出暂停指令使传送带暂停移动；
采集模块，用于在所述传送带暂停移动后，通过所述RGB-D双目深度相机采集所述零件的RGB图和深度图；
识别模块，用于把所述RGB图输入所述神经网络识别模型，得到所述神经网络识别模型输出的所述零件的位姿状态识别结果和标注框；所述位姿状态包括正面朝上、背面朝上和侧面朝上；
计算模块，用于根据所述零件的位姿状态和所述标注框，基于所述RGB图和所述深度图计算所述零件的中心点的三维世界坐标；
分拣模块，用于根据所述零件的中心点的三维世界坐标控制所述机械臂对所述零件进行抓取和分拣；
计算模块在根据所述零件的位姿状态和所述标注框，基于所述RGB图和所述深度图计算所述零件的中心点的三维世界坐标的时候，执行：
A501.以所述RGB图中位于所述标注框内的像素点为第一像素点，获取各所述第一像素点的像素坐标；
A502.以所述深度图中与所述第一像素点对应的像素点为第二像素点，根据所述第一像素点的像素坐标获取所述第二像素点的像素坐标和深度；
A503.根据所述第二像素点的深度确定有效第一像素点和有效第二像素点；所述有效第一像素点和所述有效第二像素点均为所述零件上的像素点；
A504.根据有效第一像素点的像素坐标、所述有效第二像素点的像素坐标和深度以及所述零件的位姿状态，计算所述零件的中心点的三维世界坐标；
步骤A504包括：
S1.根据所述有效第二像素点的深度，计算所述零件的中心点的深度坐标；
S2.根据所述零件的位姿状态、所述有效第一像素点的像素坐标和所述有效第二像素点的像素坐标，计算所述零件的中心点在三维世界坐标系下的横坐标和纵坐标；
S3.用所述零件的中心点在三维世界坐标系下的横坐标和纵坐标以及所述零件的中心点的深度坐标组成所述零件的中心点的三维世界坐标；
步骤S2包括：
若所述零件的位姿状态为正面朝上或背面朝上，则获取所述标注框中心点的像素坐标作为第一中心像素坐标，若所述零件的位姿状态为侧面朝上，则获取所述零件的最小外接矩形中心的像素坐标作为第一中心像素坐标；
计算所述有效第二像素点的像素坐标对应的世界坐标；所述世界坐标为在所述三维世界坐标系下的坐标；
根据所述第一中心像素坐标、所述有效第二像素点的世界坐标和所述有效第一像素点的像素坐标，计算所述有效第一像素点的世界坐标；
根据各所述有效第一像素点的世界坐标，利用kmeans算法估计所述零件的中心点在三维世界坐标系下的横坐标和纵坐标。
5.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-3任一项所述零件分拣方法中的步骤。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-3任一项所述零件分拣方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311382717.2A CN117124302B (zh) | 2023-10-24 | 2023-10-24 | 一种零件分拣方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311382717.2A CN117124302B (zh) | 2023-10-24 | 2023-10-24 | 一种零件分拣方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117124302A CN117124302A (zh) | 2023-11-28 |
| CN117124302B true CN117124302B (zh) | 2024-02-13 |
Family
ID=88852969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311382717.2A Active CN117124302B (zh) | 2023-10-24 | 2023-10-24 | 一种零件分拣方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117124302B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117772648B (zh) * | 2024-02-27 | 2024-05-07 | 北京航空航天大学 | 基于具身智能的零件分拣处理方法、装置、设备及介质 |
| CN117921639B (zh) * | 2024-03-21 | 2024-05-28 | 中国极地研究中心(中国极地研究所) | 一种用于无人艇的智能机械臂系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144480A (zh) * | 2019-12-25 | 2020-05-12 | 深圳蓝胖子机器人有限公司 | 一种可回收垃圾视觉分类方法、系统、设备 |
| CN112170233A (zh) * | 2020-09-01 | 2021-01-05 | 燕山大学 | 基于深度学习的小型零件分拣方法及其分拣系统 |
| CN113888631A (zh) * | 2021-08-31 | 2022-01-04 | 华南理工大学 | 一种基于目标裁剪区域的指定物体抓取方法 |
| CN114049557A (zh) * | 2021-11-10 | 2022-02-15 | 中国天楹股份有限公司 | 一种基于深度学习的垃圾分选机器人视觉识别方法 |
| CN114299139A (zh) * | 2021-12-23 | 2022-04-08 | 湖南视比特机器人有限公司 | 一种3d叠包分拣方法、系统及存储介质 |
| CN114693661A (zh) * | 2022-04-06 | 2022-07-01 | 上海麦牙科技有限公司 | 一种基于深度学习的快速分拣方法 |
| CN115359119A (zh) * | 2022-07-14 | 2022-11-18 | 华南理工大学 | 一种面向无序分拣场景的工件位姿估计方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11590659B2 (en) * | 2019-07-02 | 2023-02-28 | Intelligrated Headquarters, Llc | Robotic sortation system |
-
2023
- 2023-10-24 CN CN202311382717.2A patent/CN117124302B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111144480A (zh) * | 2019-12-25 | 2020-05-12 | 深圳蓝胖子机器人有限公司 | 一种可回收垃圾视觉分类方法、系统、设备 |
| CN112170233A (zh) * | 2020-09-01 | 2021-01-05 | 燕山大学 | 基于深度学习的小型零件分拣方法及其分拣系统 |
| CN113888631A (zh) * | 2021-08-31 | 2022-01-04 | 华南理工大学 | 一种基于目标裁剪区域的指定物体抓取方法 |
| CN114049557A (zh) * | 2021-11-10 | 2022-02-15 | 中国天楹股份有限公司 | 一种基于深度学习的垃圾分选机器人视觉识别方法 |
| CN114299139A (zh) * | 2021-12-23 | 2022-04-08 | 湖南视比特机器人有限公司 | 一种3d叠包分拣方法、系统及存储介质 |
| CN114693661A (zh) * | 2022-04-06 | 2022-07-01 | 上海麦牙科技有限公司 | 一种基于深度学习的快速分拣方法 |
| CN115359119A (zh) * | 2022-07-14 | 2022-11-18 | 华南理工大学 | 一种面向无序分拣场景的工件位姿估计方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117124302A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117124302B (zh) | 一种零件分拣方法、装置、电子设备及存储介质 | |
| Romero-Ramirez et al. | Speeded up detection of squared fiducial markers | |
| CN109934115B (zh) | 人脸识别模型的构建方法、人脸识别方法及电子设备 | |
| WO2020034872A1 (zh) | 目标获取方法、设备和计算机可读存储介质 | |
| CN112476434A (zh) | 一种基于协作机器人的视觉3d取放方法及系统 | |
| CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| CN108229475B (zh) | 车辆跟踪方法、系统、计算机设备及可读存储介质 | |
| CN109102547A (zh) | 基于物体识别深度学习模型的机器人抓取位姿估计方法 | |
| CN114952809B (zh) | 工件识别和位姿检测方法、系统及机械臂的抓取控制方法 | |
| Lee et al. | Depth-assisted real-time 3D object detection for augmented reality | |
| Azad et al. | Stereo-based 6d object localization for grasping with humanoid robot systems | |
| CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
| CN109325444B (zh) | 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法 | |
| WO2023124734A1 (zh) | 物体抓取点估计、模型训练及数据生成方法、装置及系统 | |
| CN116228854B (zh) | 一种基于深度学习的包裹自动分拣方法 | |
| CN109816634A (zh) | 检测方法、模型训练方法、装置及设备 | |
| CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
| CN112802112B (zh) | 视觉定位方法、装置、服务器及存储介质 | |
| Madessa et al. | Leveraging an instance segmentation method for detection of transparent materials | |
| CN112784639A (zh) | 路口检测、神经网络训练及智能行驶方法、装置和设备 | |
| CN112749664A (zh) | 一种手势识别方法、装置、设备、系统及存储介质 | |
| CN112614176A (zh) | 一种带式传送机物料体积测量方法、装置及存储介质 | |
| CN111738264A (zh) | 一种机房设备显示面板数据的智能采集方法 | |
| CN115880428A (zh) | 一种基于三维技术的动物检测数据处理方法、装置及设备 | |
| WO2023082417A1 (zh) | 抓取点信息获取方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |