CN114419437A - 基于2d视觉的工件分拣系统及其控制方法和控制装置 - Google Patents
基于2d视觉的工件分拣系统及其控制方法和控制装置 Download PDFInfo
- Publication number
- CN114419437A CN114419437A CN202210033707.7A CN202210033707A CN114419437A CN 114419437 A CN114419437 A CN 114419437A CN 202210033707 A CN202210033707 A CN 202210033707A CN 114419437 A CN114419437 A CN 114419437A
- Authority
- CN
- China
- Prior art keywords
- image
- vision
- steel plate
- sorting system
- ground rail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 107
- 239000010959 steel Substances 0.000 claims abstract description 107
- 238000005520 cutting process Methods 0.000 claims abstract description 83
- 238000004519 manufacturing process Methods 0.000 claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims description 84
- 239000012636 effector Substances 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/535—Filtering based on additional data, e.g. user or group profiles
Abstract
本发明公开了一种基于2D视觉的工件分拣系统及其控制方法和控制装置，基于2D视觉的工件分拣系统，包括：生产线和输送线；地轨机器人，地轨机器人用于抓取生产线上的钢板切割件；二维相机，二维相机设置于地轨机器人，用于采集生产线上钢板切割件的二维图像，其中，在地轨机器人抓取生产线上的钢板切割件时，二维相机的视野正投影于生产线上的钢板切割件；控制装置，控制装置与二维相机、地轨机器人连接，用于获取二维图像，并根据二维图像控制地轨机器人抓取生产线上的钢板切割件。通过采用该基于2D视觉的工件分拣系统可以降低成本，提升抓取范围，提高分拣效率。
Description
技术领域
本发明涉及机器视觉技术领域，尤其是涉及一种基于2D视觉的工件分拣系统及其控制方法和控制装置。
背景技术
随着科技的发展，工业生产中的自动化水平也不断提高。在工件生产中，通常需要将切割后的工件从钢板中分拣出来，对此，通常采用三维视觉的方式实现对工件的识别与抓取，具体为，机器人固定于机器人底座上，并将三维相机固定安装在独立于机器人外的支架上，在三维相机对钢板拍照后，对拍照所得图像进行处理以对待抓取的工件进行识别，并在获得识别的抓取点后转换至机器人坐标系下进行抓取。但是，上述采用三维相机实现工件识别与抓取的方式，成本较高，分拣效率较低，而且上述方式中整条生产线上需设置多台机器人且机器人位置也相对固定，机器人抓取范围小。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种基于2D视觉的工件分拣系统，通过采用该基于2D视觉的工件分拣系统可以降低成本，提升抓取范围，提高分拣效率。
本发明的目的之二在于提出一种基于2D视觉的工件分拣系统的控制方法。
本发明的目的之三在于提出一种用于基于2D视觉的工件分拣系统的控制装置。
本发明的目的之四在于提出一种计算机存储介质。
为了解决上述问题，本发明第一方面实施例提供一种基于2D视觉的工件分拣系统，包括：生产线和输送线，所述生产线用于生产钢板切割件，所述输送线用于输送钢板切割件；地轨机器人，所述地轨机器人包括地轨组件、机器人和端拾器，所述地轨组件设置于所述生产线与所述输送线之间，所述机器人可移动的设置于所述地轨组件上，所述端拾器与所述机器人连接，所述地轨机器人用于抓取所述生产线上的钢板切割件；二维相机，所述二维相机设置于所述地轨机器人，用于采集所述生产线上钢板切割件的二维图像，其中，在所述地轨机器人抓取所述生产线上的钢板切割件时，所述二维相机的视野正投影于所述生产线上的钢板切割件；控制装置，所述控制装置与所述二维相机、所述地轨机器人连接，用于获取所述二维图像，并根据所述二维图像控制所述地轨机器人抓取所述生产线上的钢板切割件。
根据本发明实施例的基于2D视觉的工件分拣系统，通过采用地轨机器人，相较于机器人固定设置的方式，在地轨机器人工作时，地轨组件可带动机器人发生移动，从而使得地轨机器人的活动范围扩大，提升机器人的抓取范围，以及，采用二维相机采集生产线上钢板切割件的二维图像，相较于采用三维相机的方式，既可以降低成本，也可以减少采集时间，提高分拣效率。
在一些实施例中，所述端拾器包括：端拾器本体；支架，所述支架与所述端拾器本体连接，所述二维相机设置于所述支架上；其中，在所述端拾器本体抓取所述生产线上的钢板切割件时，所述二维相机的视野正投影于所述钢板切割件。
在一些实施例中，所述基于2D视觉的工件分拣系统还包括：环形光源，所述环形光源设置于所述支架上且环绕在所述二维相机周围。
本发明第二方面实施例提供一种基于2D视觉的工件分拣系统的控制方法，用于上述实施例提供的基于2D视觉的工件分拣系统，所述控制方法包括：获取所述基于2D视觉的工件分拣系统中生产线上钢板切割件的二维图像；对所述二维图像进行预处理，以获得预处理图像；根据所述预处理图像和预设模板图像获得实际单应性矩阵；根据所述预处理图像、所述实际单应性矩阵和标定单应性矩阵获得初始待匹配图像；根据所述初始待匹配图像和预设模板图像确定所述初始待匹配图像中待抓取零件的目标抓取点；根据所述目标抓取点控制所述基于2D视觉的工件分拣系统的地轨机器人抓取所述待抓取零件。
根据本发明实施例的基于2D视觉的工件分拣系统的控制方法，在获取基于2D视觉的工件分拣系统中生产线上钢板切割件的二维图像并对其进行预处理后，根据预处理图像获得实际单应性矩阵，并通过预处理图像、实际单应性矩阵和标定单应性矩阵来获得初始待匹配图像，也就是说，在基于2D视觉的工件分拣系统正常运行过程中，可以实时计算将预处理图像转换为初始待匹配图像的单应性矩阵即实际单应性矩阵，从而在钢板切割件高度固定时，以标定单应性矩阵来获得初始待匹配图像，以及在钢板切割件高度发生变化时，以实际单应性矩阵来获得初始待匹配图像，由此，在无需采用三维相机的情况下，基于2D视觉的工件分拣系统利用二维相机即可有效满足因钢板切割件高度发生变化而产生的精度需求，降低成本，提高分拣效率。
在一些实施例中，根据所述预处理图像、所述实际单应性矩阵和标定单应性矩阵获得初始待匹配图像，包括：根据所述实际单应性矩阵计算第一矩阵模，以及根据所述标定单应性矩阵计算第二矩阵模；确定所述第一矩阵模和所述第二矩阵模的差值小于或等于预设差值，则根据所述预处理图像和所述标定单应性矩阵获得所述初始待匹配图像；确定所述第一矩阵模和所述第二矩阵模的差值大于所述预设差值，则根据所述预处理图像和所述实际单应性矩阵获得所述初始待匹配图像。
在一些实施例中，所述预设模板图像包括钢板局部模板图和待抓取零件模板图，根据所述初始待匹配图像和所述预设模板图像确定所述初始待匹配图像中待抓取零件的目标抓取点，包括：将所述初始待匹配图像与所述钢板局部模板图进行全局匹配，以确定所述初始待匹配图像中每个零件的分布位置；将所述每个零件的分布位置与所述待抓取零件模板图进行局部匹配，以确定所述初始待匹配图像中所述待抓取零件的目标抓取点。
在一些实施例中，根据所述目标抓取点控制所述基于2D视觉的工件分拣系统的地轨机器人抓取所述待抓取零件，包括：获取坐标转换矩阵；根据所述坐标转换矩阵将所述目标抓取点由所述基于2D视觉的工件分拣系统中二维相机的图像坐标系转换为所述地轨机器人的机器人坐标系下的实际抓取点；根据所述实际抓取点控制所述基于2D视觉的工件分拣系统的地轨机器人抓取所述待抓取零件。
在一些实施例中，对所述二维图像进行预处理，以获得预处理图像，包括：根据畸变校正方法对所述二维图像进行畸变处理，以获得畸变处理后的二维图像；根据边缘特征提取方法对所述畸变处理后的二维图像进行边缘检测，以获得边缘特征图像；根据所述边缘特征图像对所述畸变处理后的二维图像进行增强处理，以获得所述预处理图像。
本发明第三方面实施例提供一种用于基于2D视觉的工件分拣系统的控制装置，包括：至少一个处理器；与至少一个所述处理器通信连接的存储器；其中，所述存储器中存储有可被至少一个所述处理器执行的计算机程序，至少一个所述处理器执行所述计算机程序时实现上述实施例所述的基于2D视觉的工件分拣系统的控制方法。
根据本发明实施例的用于基于2D视觉的工件分拣系统的控制装置，通过处理器执行上述实施例提供的基于2D视觉的工件分拣系统的控制方法，可以在无需采用三维相机的情况下，基于2D视觉的工件分拣系统利用二维相机即可有效满足因钢板切割件高度发生变化而产生的精度需求，降低成本，提高分拣效率。
本发明第四方面实施例提供一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述实施例所述的基于2D视觉的工件分拣系统的控制方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的基于2D视觉的工件分拣系统的示意图；
图2是根据本发明一个实施例的机器人的示意图；
图3是根据本发明一个实施例的端拾器的示意图；
图4是根据本发明一个实施例的基于2D视觉的工件分拣系统的控制方法的流程图；
图5是根据本发明一个实施例的基于2D视觉的工件分拣系统的工作流程图；
图6是根据本发明一个实施例的用于基于2D视觉的工件分拣系统的控制装置的结构框图。
附图标记：
基于2D视觉的工件分拣系统100；
生产线10；输送线20；地轨机器人30；二维相机40；控制装置50；
地轨组件1；机器人2；端拾器3；端拾器本体4；支架5；环形光源6；
处理器7；存储器8。
具体实施方式
下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。
为了解决上述问题，本发明第一方面实施例提出一种基于2D视觉的工件分拣系统，通过采用该基于2D视觉的工件分拣系统可以降低成本，提升抓取范围，提高分拣效率。
下面参考图1-图3描述本发明实施例的基于2D视觉的工件分拣系统。
如图1所示，该基于2D视觉的工件分拣系统100包括生产线10、输送线20、地轨机器人30、二维相机40和控制装置50(图中未示出)。
其中，生产线10用于生产钢板切割件，输送线20用于输送钢板切割件；地轨机器人30包括地轨组件1、机器人2和端拾器3，地轨组件1设置于生产线10与输送线20之间，机器人2可移动的设置于地轨组件1上，端拾器3与机器人2连接，地轨机器人30用于抓取生产线10上的钢板切割件；如图2所示，二维相机40设置于地轨机器人30，用于采集生产线10上钢板切割件的二维图像，其中，在地轨机器人30抓取生产线10上的钢板切割件时，二维相机40的视野正投影于生产线10上的钢板切割件；控制装置50与二维相机40、地轨机器人30连接，用于获取二维图像，并根据二维图像控制地轨机器人30抓取生产线10上的钢板切割件，以将抓取的钢板切割件放置于输送线20上。
在实施例中，由于现有的视觉分拣系统中，机器人的位置固定设置，因此在分拣钢板切割件时机器人的抓取范围小，同一条生产线需设置多台机器人才能满足分拣需求，对此，本发明实施例采用地轨机器人30，即将机器人2可移动的设置于地轨组件1上，从而在地轨机器人30工作时，地轨组件1可带动机器人2发生移动，从而使得地轨机器人30的活动范围扩大，提升机器人2的抓取范围，同时，对于同一条生产线，也可以适当减少地轨机器人30的使用数量。
以及，由于现有的视觉分拣系统中采用三维相机来实现工件的识别与抓取，但是三维相机使用成本较高，且相机视野较小，采集时间较长，对此，本发明实施例中采用二维相机40来采集生产线10上钢板切割件的二维图像，相较于采用三维相机的方式，可以降低成本，且对于同等高度的钢板切割件，二维相机40的视野明显大于三维相机的视野，因此，本发明实施例的基于2D视觉的工件分拣系统100采用二维相机40，可以有效增加成像视野，利于提高基于2D视觉的工件分拣系统100的自动抓取效率，以及，因二维相机40的拍照时间也明显快于三维相机的拍照时间，因此，本发明实施例的基于2D视觉的工件分拣系统100采用二维相机40，也可以有效提高图像采集时间，提高识别抓取钢板切割件抓取点的效率，提高分拣效率。
此外，本发明实施例中将二维相机40设置于地轨机器人30，从而也就无需再单独设置二维相机40的安装支架，利于节省成本，以及，二维相机40可以随着地轨机器人30的移动而发生移动，利于提高二维相机40采集图像的灵活性。
在一些实施例中，根据实际需求基于2D视觉的工件分拣系统100可以包括多个地轨机器人30，对此不作限制。
根据本发明实施例的基于2D视觉的工件分拣系统100，通过采用地轨机器人30，相较于机器人固定设置的方式，在地轨机器人30工作时，地轨组件1可带动机器人2发生移动，从而使得地轨机器人30的活动范围扩大，提升机器人2的抓取范围，以及，采用二维相机40采集生产线10上钢板切割件的二维图像，相较于采用三维相机的方式，既可以降低成本，也可以减少采集时间，提高分拣效率。
在一些实施例中，如图3所示，端拾器3包括端拾器本体4和支架5。
其中，支架5与端拾器本体4连接，二维相机40设置于支架5上，以及，在端拾器本体4抓取生产线10上的钢板切割件时，二维相机40的视野正投影于钢板切割件。
其中，对于支架5与端拾器本体4的连接方式不作限制，例如，支架5可以固定连接于端拾器本体4，以在支架5上安装二维相机40时可以起到固定作用，提高二维相机40采集二维图像的稳定性，或者，支架5与端拾器本体4之间为可拆卸连接，以便于后期维护。
在一些实施例中，如图3所示，基于2D视觉的工件分拣系统100还包括环形光源6，环形光源6设置于支架5上且环绕在二维相机40周围，以用于在二维相机40采集二维图像时提供照明效果。
基于上述实施例提供的基于2D视觉的工件分拣系统，本发明第二方面实施例提供一种基于2D视觉的工件分拣系统的控制方法，如图4所示，该控制方法至少包括步骤S1-步骤S6。
步骤S1，获取基于2D视觉的工件分拣系统中生产线上钢板切割件的二维图像。
对于基于2D视觉的工件分拣系统的应用场景如下，在重工行业中，生产线上放置整个钢板，该钢板经切割机自动切割后会生成各种不同形状、不同尺寸的零件，所有零件在分拣之前均保持在钢板中，其中，钢板经切割后且未分拣之前作为整体钢板切割件。进而，在已知钢板切割件的套料图的条件下，通过对钢板切割件中的不同零件进行准确的定位和识别，从而引导地轨机器人来进行精确抓取，以完成分拣工作。
具体地，参考图1所示，在基于2D视觉的工件分拣系统分拣钢板切割件时，基于二维相机设置于地轨机器人，因此基于根据整体钢板切割件的套料图确定的待抓取零件在生产线上的放置范围，控制地轨机器人移动至指定位置即二维相机的拍照点处，并控制二维相机启动以采集该位置处相机视野内的钢板切割件的二维图像，并将采集的二维图像发送至基于2D视觉的工件分拣系统的控制装置。可以理解的是，该二维图像是依据二维相机的视野大小获得的，所以二维相机采集的钢板切割件的二维图像为整体钢板切割件的局部区域的图像。
步骤S2，对二维图像进行预处理，以获得预处理图像。
具体地，由于二维相机采集的二维图像中会存在一些干扰，因此需对二维图像进行预处理，以去除干扰因素，避免在后续对待抓取零件进行识别和定位时造成干扰，提高对抓取待抓取零件的精确性。
步骤S3，根据预处理图像和预设模板图像获得实际单应性矩阵。
其中，单应性是指从图像中的一个点映射到另一张图像中的对应点的变换，对于基于2D视觉的工件分拣系统，空间中同一平面的任意两幅图像通过单应性相关联。基于此，本发明实施例在对钢板切割件中的不同零件进行准确的定位和识别时，利用单应性矩阵对预处理图像进行转换，以使得转换后的预处理图像更加符合实际场景，从而便于精准抓取待抓取零件。
其中，预设模板图像为预先存储在数据库中的各种钢板切割件的套料图，例如，预设模板图像至少包括整体钢板切割件套料图、依据二维相机视野大小从整体钢板切割件套料图中截取的多个局部钢板切割件套料图即钢板局部模板图和钢板切割件中各个零件的模板图。
具体地，对预处理图像和预设模板图像分别进行特征点提取，如可以采用SIFT、SURF、ORB等特征点提取算法，并对预处理图像中提取的特征点与预设模板图像中提取的特征点进行特征点匹配，以获得匹配点对集，进而可以采用随机抽样一致算法或RANSAC算法等算法对匹配点集拟合，以获得实际单应性矩阵，由此，在每次抓取零件时，均根据获取的预处理图像来实时计算用于转换预处理图像的单应性矩阵，以提高后续抓取待抓取零件的精准性。
步骤S4，根据预处理图像、实际单应性矩阵和标定单应性矩阵获得初始待匹配图像。
其中，标定单应性矩阵为钢板切割件与二维相机之间距离即钢板切割件的高度一定时设定的单应性矩阵，也就是说，基于2D视觉的工件分拣系统中预先设定钢板切割件与二维相机之间的距离，使得钢板切割件的高度固定，并通过标定计算该高度下对预处理图像进行转换的单应性矩阵，即获得标定单应性矩阵，以此作为生产线上钢板高度正常时使用的单应性矩阵。
其中，初始待匹配图像为根据实际单应性矩阵或标定单应性矩阵对预处理图像转换后获得的图像，通过初始待匹配图像可以识别出钢板切割件中各个零件的所在位置。
具体地，在实际工业生产中，由于钢板切割件相对二维相机的距离会发生变化，对此现有的视觉分拣系统中通过采用三维相机的方式解决上述问题，但是三维相机使用成本较高且效率较低，因此，本发明实施例中采用二维相机实现对零件的识别和定位，以降低成本，提高分拣效率，同时对于钢板切割件的高度发生变化的情况，本发明实施例中可以通过实际单应性矩阵或标定单应性矩阵来转换预设处理图像，即在钢板切割件高度固定时，以标定单应性矩阵来获得初始待匹配图像，以及在钢板切割件高度发生变化时，不再采用标定单应性矩阵来转换预处理图像，而是以实时计算的实际单应性矩阵来获得初始待匹配图像，从而适应钢板切割件高度发生变化的情况，由此，在无需采用三维相机的情况下，基于2D视觉的工件分拣系统利用二维相机即可有效满足因钢板切割件高度发生变化而产生的精度需求，提高后续抓取待抓取零件的精准性。
步骤S5，根据初始待匹配图像和预设模板图像确定初始待匹配图像中待抓取零件的目标抓取点。
具体地，由于初始待匹配图像是基于二维相机采集的二维图像获得的，而该二维图像为整体钢板切割件的局部区域的图像，所以初始待匹配图像中包含该局部区域的所有零件的图像，因此，为准确定位待抓取零件，通过将初始待匹配图像与预设模板图像进行匹配，以此来确定初始待匹配图像中待抓取零件的目标抓取点。
步骤S6，根据目标抓取点控制基于2D视觉的工件分拣系统的地轨机器人抓取待抓取零件。
具体地，在确定初始待匹配图像中钢板切割件上待抓取零件的目标抓取点后，即可控制地轨机器人移动至相应位置处以准确抓取待抓取零件，并将抓取的钢板切割件放置于输送线上，从而实现基于2D视觉的工件分拣系统的分拣功能。
根据本发明实施例的基于2D视觉的工件分拣系统的控制方法，在获取基于2D视觉的工件分拣系统中生产线上钢板切割件的二维图像并对其进行预处理后，根据预处理图像获得实际单应性矩阵，并通过预处理图像、实际单应性矩阵和标定单应性矩阵来获得初始待匹配图像，也就是说，在基于2D视觉的工件分拣系统正常运行过程中，可以实时计算将预处理图像转换为初始待匹配图像的单应性矩阵即实际单应性矩阵，从而在钢板切割件高度固定时，以标定单应性矩阵来获得初始待匹配图像，以及在钢板切割件高度发生变化时，以实际单应性矩阵来获得初始待匹配图像，由此，在无需采用三维相机的情况下，基于2D视觉的工件分拣系统利用二维相机即可有效满足因钢板切割件高度发生变化而产生的精度需求，降低成本，提高分拣效率。
在一些实施例中，根据实际单应性矩阵计算第一矩阵模，以及根据标定单应性矩阵计算第二矩阵模，若确定第一矩阵模和第二矩阵模的差值小于或等于预设差值，则说明钢板切割件的高度未发生变化，因此根据预处理图像和标定单应性矩阵获得初始待匹配图像，即通过标定单应性矩阵将预处理图像转换为初始待匹配图像；若确定第一矩阵模和第二矩阵模的差值大于预设差值，则说明钢板切割件的高度发生变化，因此根据预处理图像和实际单应性矩阵获得初始待匹配图像，即通过实际单应性矩阵将预处理图像转换为初始待匹配图像，以解决因钢板切割件高度发生变化而造成的精度问题。
在一些实施例中，由于通过初始待匹配图像可以大致定位出局部钢板切割件上各个零件所在位置，若所有零件在钢板上整体是平整的如零件没有翘起等情况，全局匹配可以获得精准的匹配结果。但是，在实际情况中，钢板由于输送过程中的抖动和震荡，不同区域的零件很难保持在同一个平面上，因此会造成全局匹配后部分零件偏差较大的情况，致使地轨机器人难以实现精确分拣。对此，本发明实施例通过对初始待匹配图像进行全局匹配，以获得局部钢板切割件上各个零件所在位置，进而再对初始待匹配图像中每个零件进行精确匹配即局部匹配，由此来确定待抓取零件的目标抓取点。
具体地，预设模板图像包括钢板局部模板图和待抓取零件模板图，将初始待匹配图像与钢板局部模板图进行全局匹配，以确定初始待匹配图像中钢板切割件上每个零件的分布位置；将每个零件的分布位置与待抓取零件模板图进行局部匹配，以确定初始待匹配图像中待抓取零件的分布位置，并结合待抓取零件的分布位置情况来确定目标抓取点。由此，本发明实施例通过将钢板切割件的整体信息与零件的局部特征进行结合的方式来确定待抓取零件的目标抓取点，可以有效提高零件匹配的成功率。
可以理解的是，由于初始待匹配图像为整体钢板切割件的局部区域的图像，因此，对初始待匹配图像进行全局匹配时，所使用的钢板局部模板图应与初始待匹配图像所呈现的局部区域相对应。以及，对初始待匹配图像进行局部匹配时，所使用的待抓取零件模板图应与待抓取零件相对应。
在一些实施例中，由于二维相机采集二维图像时的图像坐标系与地轨机器人的机器人坐标系并不统一，因此若直接以目标抓取点控制地轨机器人抓取待抓取零件，地轨机器人将无法实现所期望的动作，因此需将图像坐标系下识别出的目标抓取点转换至地轨机器人的机器人坐标系下，具体地，获取坐标转换矩阵，其中，对于坐标转换矩阵，可以根据二维相机对应的图像坐标系和地轨机器人的机器人坐标系进行手眼标定来获得，并对获得的坐标转换矩阵进行存储，以便后续使用；进而，根据坐标转换矩阵将目标抓取点由基于2D视觉的工件分拣系统中二维相机的图像坐标系转换为地轨机器人的机器人坐标系下的实际抓取点，从而以实际抓取点控制基于2D视觉的工件分拣系统的地轨机器人抓取待抓取零件，实现基于2D视觉的工件分拣系统的分拣功能。
在一些实施例中，为避免因采集的二维图像中存在干扰因素而影响抓取结果，本发明实施例可以根据畸变校正方法对二维图像进行畸变处理，以获得畸变处理后的二维图像；根据边缘特征提取方法对畸变处理后的二维图像进行边缘检测，以获得边缘特征图像；根据边缘特征图像对畸变处理后的二维图像进行增强处理，以获得预处理图像。由此，通过对二维图像进行预处理，以去除干扰因素，避免在后续对待抓取零件进行识别和定位时造成干扰，提高对抓取待抓取零件的精确性。
下面参考附图5对本发明实施例的基于2D视觉的工件分拣系统的工作过程进行说明，具体步骤如下。
步骤S7，获取地轨机器人的运行状态。
步骤S8，判断地轨机器人的运行状态是否正常。若是，在执行步骤S9；若否，则结束对该地轨机器人的控制。
步骤S9，控制地轨机器人移动至指定位置处以采集二维图像。
步骤S10，对二维图像进行预处理，以获得预处理图像。
步骤S11，根据预处理图像对待抓取零件进行识别。
步骤S12，将待抓取零件的目标抓取点转换至机器人坐标系下。
步骤S13，控制地轨机器人按照实际抓取点抓取待抓取零件并放置于输送线上。
总之，根据本发明实施例的基于2D视觉的工件分拣系统的控制方法，基于基于2D视觉的工件分拣系统采用二维相机，在钢板切割件高度固定时，以标定单应性矩阵来获得初始待匹配图像，以及在钢板切割件高度发生变化时，以实际单应性矩阵来获得初始待匹配图像，从而在无需采用三维相机的情况下，基于2D视觉的工件分拣系统利用二维相机即可有效满足因钢板切割件高度发生变化而产生的精度需求，降低成本，提高分拣效率。
本发明第三方面实施例提供一种用于基于2D视觉的工件分拣系统的控制装置，如图6所示，该控制装置50包括至少一个处理器7和与至少一个处理器7通信连接的存储器8。
其中，存储器8中存储有可被至少一个处理器7执行的计算机程序，至少一个处理器7执行计算机程序时实现上述实施例提供的基于2D视觉的工件分拣系统的控制方法。
需要说明的是，本发明实施例的控制装置50的具体实现方式与本发明上述任意实施例的基于2D视觉的工件分拣系统的控制方法的具体实现方式类似，具体请参见关于方法部分的描述，为了减少冗余，此处不再赘述。
根据本发明实施例的用于基于2D视觉的工件分拣系统的控制装置50，通过处理器7执行上述实施例提供的基于2D视觉的工件分拣系统的控制方法，可以在无需采用三维相机的情况下，基于2D视觉的工件分拣系统利用二维相机即可有效满足因钢板切割件高度发生变化而产生的精度需求，降低成本，提高分拣效率。
本发明第四方面实施例提供一种计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述实施例提供的基于2D视觉的工件分拣系统的控制方法。
在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于2D视觉的工件分拣系统，其特征在于，包括：
生产线和输送线，所述生产线用于生产钢板切割件，所述输送线用于输送钢板切割件；
地轨机器人，所述地轨机器人包括地轨组件、机器人和端拾器，所述地轨组件设置于所述生产线与所述输送线之间，所述机器人可移动的设置于所述地轨组件上，所述端拾器与所述机器人连接，所述地轨机器人用于抓取所述生产线上的钢板切割件；
二维相机，所述二维相机设置于所述地轨机器人，用于采集所述生产线上钢板切割件的二维图像，其中，在所述地轨机器人抓取所述生产线上的钢板切割件时，所述二维相机的视野正投影于所述生产线上的钢板切割件；
控制装置，所述控制装置与所述二维相机、所述地轨机器人连接，用于获取所述二维图像，并根据所述二维图像控制所述地轨机器人抓取所述生产线上的钢板切割件。
2.根据权利要求1所述的基于2D视觉的工件分拣系统，其特征在于，所述端拾器包括：
端拾器本体；
支架，所述支架与所述端拾器本体连接，所述二维相机设置于所述支架上；
其中，在所述端拾器本体抓取所述生产线上的钢板切割件时，所述二维相机的视野正投影于所述钢板切割件。
3.根据权利要求2所述的基于2D视觉的工件分拣系统，其特征在于，所述基于2D视觉的工件分拣系统还包括：
环形光源，所述环形光源设置于所述支架上且环绕在所述二维相机周围。
4.一种基于2D视觉的工件分拣系统的控制方法，其特征在于，用于权利要求1-3任一项所述的基于2D视觉的工件分拣系统，所述控制方法包括：
获取所述基于2D视觉的工件分拣系统中生产线上钢板切割件的二维图像；
对所述二维图像进行预处理，以获得预处理图像；
根据所述预处理图像和预设模板图像获得实际单应性矩阵；
根据所述预处理图像、所述实际单应性矩阵和标定单应性矩阵获得初始待匹配图像；
根据所述初始待匹配图像和所述预设模板图像确定所述初始待匹配图像中待抓取零件的目标抓取点；
根据所述目标抓取点控制所述基于2D视觉的工件分拣系统的地轨机器人抓取所述待抓取零件。
5.根据权利要求4所述的基于2D视觉的工件分拣系统的控制方法，其特征在于，根据所述预处理图像、所述实际单应性矩阵和标定单应性矩阵获得初始待匹配图像，包括：
根据所述实际单应性矩阵计算第一矩阵模，以及根据所述标定单应性矩阵计算第二矩阵模；
确定所述第一矩阵模和所述第二矩阵模的差值小于或等于预设差值，则根据所述预处理图像和所述标定单应性矩阵获得所述初始待匹配图像；
确定所述第一矩阵模和所述第二矩阵模的差值大于所述预设差值，则根据所述预处理图像和所述实际单应性矩阵获得所述初始待匹配图像。
6.根据权利要求4所述的基于2D视觉的工件分拣系统的控制方法，其特征在于，所述预设模板图像包括钢板局部模板图和待抓取零件模板图，根据所述初始待匹配图像和所述预设模板图像确定所述初始待匹配图像中待抓取零件的目标抓取点，包括：
将所述初始待匹配图像与所述钢板局部模板图进行全局匹配，以确定所述初始待匹配图像中每个零件的分布位置；
将所述每个零件的分布位置与所述待抓取零件模板图进行局部匹配，以确定所述初始待匹配图像中所述待抓取零件的目标抓取点。
7.根据权利要求4所述的基于2D视觉的工件分拣系统的控制方法，其特征在于，根据所述目标抓取点控制所述基于2D视觉的工件分拣系统的地轨机器人抓取所述待抓取零件，包括：
获取坐标转换矩阵；
根据所述坐标转换矩阵将所述目标抓取点由所述基于2D视觉的工件分拣系统中二维相机的图像坐标系转换为所述地轨机器人的机器人坐标系下的实际抓取点；
根据所述实际抓取点控制所述基于2D视觉的工件分拣系统的地轨机器人抓取所述待抓取零件。
8.根据权利要求4所述的基于2D视觉的工件分拣系统的控制方法，其特征在于，对所述二维图像进行预处理，以获得预处理图像，包括：
根据畸变校正方法对所述二维图像进行畸变处理，以获得畸变处理后的二维图像；
根据边缘特征提取方法对所述畸变处理后的二维图像进行边缘检测，以获得边缘特征图像；
根据所述边缘特征图像对所述畸变处理后的二维图像进行增强处理，以获得所述预处理图像。
9.一种用于基于2D视觉的工件分拣系统的控制装置，其特征在于，包括：
至少一个处理器；
与至少一个所述处理器通信连接的存储器；
其中，所述存储器中存储有可被至少一个所述处理器执行的计算机程序，至少一个所述处理器执行所述计算机程序时实现权利要求4-8任一项所述的基于2D视觉的工件分拣系统的控制方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4-8任一项所述的基于2D视觉的工件分拣系统的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210033707.7A CN114419437A (zh) | 2022-01-12 | 2022-01-12 | 基于2d视觉的工件分拣系统及其控制方法和控制装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210033707.7A CN114419437A (zh) | 2022-01-12 | 2022-01-12 | 基于2d视觉的工件分拣系统及其控制方法和控制装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114419437A true CN114419437A (zh) | 2022-04-29 |
Family
ID=81273048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210033707.7A Pending CN114419437A (zh) | 2022-01-12 | 2022-01-12 | 基于2d视觉的工件分拣系统及其控制方法和控制装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114419437A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115582840A (zh) * | 2022-11-14 | 2023-01-10 | 湖南视比特机器人有限公司 | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 |
| CN116030449A (zh) * | 2023-02-17 | 2023-04-28 | 济南邦德激光股份有限公司 | 一种激光切割件的自动分拣方法及自动分拣系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103706568A (zh) * | 2013-11-26 | 2014-04-09 | 中国船舶重工集团公司第七一六研究所 | 基于机器视觉的机器人分拣系统及方法 |
| CN104226606A (zh) * | 2014-08-08 | 2014-12-24 | 王龙虎 | 一种能提高自动分拣效率的二维分拣方法 |
| CN105690393A (zh) * | 2016-04-19 | 2016-06-22 | 惠州先进制造产业技术研究中心有限公司 | 一种基于机器视觉的四轴并联机器人分拣系统及其分拣方法 |
| CN105729472A (zh) * | 2016-04-19 | 2016-07-06 | 惠州先进制造产业技术研究中心有限公司 | 一种基于机器视觉的球泡灯分拣和装箱系统及方法 |
| CN108080289A (zh) * | 2018-01-22 | 2018-05-29 | 广东省智能制造研究所 | 机器人分拣系统、机器人分拣控制方法及装置 |
| WO2019007258A1 (zh) * | 2017-07-07 | 2019-01-10 | 腾讯科技（深圳）有限公司 | 相机姿态信息的确定方法、装置、设备及存储介质 |
| CN110404786A (zh) * | 2019-08-02 | 2019-11-05 | 盐城正邦环保科技有限公司 | 一种基于二维视觉的自动分拣线包裹上件系统及上件方法 |
| CN110666805A (zh) * | 2019-10-31 | 2020-01-10 | 重庆科技学院 | 一种基于主动视觉的工业机器人分拣方法 |
| CN111452034A (zh) * | 2019-01-21 | 2020-07-28 | 广东若铂智能机器人有限公司 | 一种双相机机器视觉智能工业机器人控制系统及控制方法 |
| CN111461230A (zh) * | 2020-04-02 | 2020-07-28 | 南京佳和牙科技术有限公司 | 一种基于牙科stl模型和二维图像配准的牙模分类识别方法 |
| CN111524115A (zh) * | 2020-04-17 | 2020-08-11 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN111702756A (zh) * | 2020-05-26 | 2020-09-25 | 深圳市中纬智能有限公司 | 一种基于机器视觉的物体抓取方法、机器人及存储介质 |
| CN212284935U (zh) * | 2020-04-26 | 2021-01-05 | 华工法利莱切焊系统工程有限公司 | 一种基于3d视觉的金属板材分拣装置 |
| CN112509063A (zh) * | 2020-12-21 | 2021-03-16 | 中国矿业大学 | 一种基于边缘特征匹配的机械臂抓取系统及方法 |
-
2022
- 2022-01-12 CN CN202210033707.7A patent/CN114419437A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103706568A (zh) * | 2013-11-26 | 2014-04-09 | 中国船舶重工集团公司第七一六研究所 | 基于机器视觉的机器人分拣系统及方法 |
| CN104226606A (zh) * | 2014-08-08 | 2014-12-24 | 王龙虎 | 一种能提高自动分拣效率的二维分拣方法 |
| CN105690393A (zh) * | 2016-04-19 | 2016-06-22 | 惠州先进制造产业技术研究中心有限公司 | 一种基于机器视觉的四轴并联机器人分拣系统及其分拣方法 |
| CN105729472A (zh) * | 2016-04-19 | 2016-07-06 | 惠州先进制造产业技术研究中心有限公司 | 一种基于机器视觉的球泡灯分拣和装箱系统及方法 |
| WO2019007258A1 (zh) * | 2017-07-07 | 2019-01-10 | 腾讯科技（深圳）有限公司 | 相机姿态信息的确定方法、装置、设备及存储介质 |
| CN108080289A (zh) * | 2018-01-22 | 2018-05-29 | 广东省智能制造研究所 | 机器人分拣系统、机器人分拣控制方法及装置 |
| CN111452034A (zh) * | 2019-01-21 | 2020-07-28 | 广东若铂智能机器人有限公司 | 一种双相机机器视觉智能工业机器人控制系统及控制方法 |
| CN110404786A (zh) * | 2019-08-02 | 2019-11-05 | 盐城正邦环保科技有限公司 | 一种基于二维视觉的自动分拣线包裹上件系统及上件方法 |
| CN110666805A (zh) * | 2019-10-31 | 2020-01-10 | 重庆科技学院 | 一种基于主动视觉的工业机器人分拣方法 |
| CN111461230A (zh) * | 2020-04-02 | 2020-07-28 | 南京佳和牙科技术有限公司 | 一种基于牙科stl模型和二维图像配准的牙模分类识别方法 |
| CN111524115A (zh) * | 2020-04-17 | 2020-08-11 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN212284935U (zh) * | 2020-04-26 | 2021-01-05 | 华工法利莱切焊系统工程有限公司 | 一种基于3d视觉的金属板材分拣装置 |
| CN111702756A (zh) * | 2020-05-26 | 2020-09-25 | 深圳市中纬智能有限公司 | 一种基于机器视觉的物体抓取方法、机器人及存储介质 |
| CN112509063A (zh) * | 2020-12-21 | 2021-03-16 | 中国矿业大学 | 一种基于边缘特征匹配的机械臂抓取系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 兰虎，鄂世举: "工业机器人技术及应用", 31 January 2020, 机械工业出版社, pages: 81 * |
| 卓书芳;: "基于机器视觉的工业机器人分拣技术应用研究与系统开发", 辽宁科技学院学报, no. 01, 15 February 2017 (2017-02-15) * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115582840A (zh) * | 2022-11-14 | 2023-01-10 | 湖南视比特机器人有限公司 | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 |
| CN116030449A (zh) * | 2023-02-17 | 2023-04-28 | 济南邦德激光股份有限公司 | 一种激光切割件的自动分拣方法及自动分拣系统 |
| CN116030449B (zh) * | 2023-02-17 | 2023-09-01 | 济南邦德激光股份有限公司 | 一种激光切割件的自动分拣方法及自动分拣系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111791239B (zh) | 一种结合三维视觉识别可实现精确抓取的方法 | |
| EP3683721B1 (en) | A material handling method, apparatus, and system for identification of a region-of-interest | |
| EP2045772B1 (en) | Apparatus for picking up objects | |
| CN114419437A (zh) | 基于2d视觉的工件分拣系统及其控制方法和控制装置 | |
| CN110660104A (zh) | 工业机器人视觉识别定位抓取方法、计算机装置以及计算机可读存储介质 | |
| KR100823549B1 (ko) | 조선소 소조립 용접부재 위치 인식 방법 | |
| CN111627072A (zh) | 一种对多传感器进行标定的方法、装置和存储介质 | |
| CN111126174A (zh) | 一种用于机器人抓取零件的视觉检测方法 | |
| WO2018139026A1 (ja) | ワーク検出装置及び方法 | |
| CN113146172A (zh) | 一种基于多视觉的检测与装配系统及方法 | |
| CN110926330B (zh) | 图像处理装置和图像处理方法 | |
| CN113196337B (zh) | 图像处理装置、作业机器人、基板检查装置及检体检查装置 | |
| CN114758236A (zh) | 一种非特定形状物体识别、定位与机械手抓取系统及方法 | |
| CN113689509A (zh) | 基于双目视觉的无序抓取方法、系统及存储介质 | |
| CN106097323B (zh) | 一种基于机器视觉的发动机气缸体铸件的定位方法 | |
| CN114341930A (zh) | 图像处理装置、拍摄装置、机器人以及机器人系统 | |
| JP2010184300A (ja) | 姿勢変更システムおよび姿勢変更方法 | |
| CN113495073A (zh) | 视觉检查系统的自动对焦功能 | |
| CN111275758A (zh) | 混合型3d视觉定位方法、装置、计算机设备及存储介质 | |
| CN114193440B (zh) | 基于3d视觉的机器人自动抓取系统及方法 | |
| CN114104453A (zh) | 基于图像处理的有色金属自动贴标方法及装置 | |
| CN115164751A (zh) | 一种铆接孔径尺寸检测系统及方法 | |
| CN115582840B (zh) | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 | |
| CN117246755A (zh) | 一种柔性抓取bms线路板的智能取物系统 | |
| US20240033934A1 (en) | Tool checking device, storage device storing tool checking program, and tool checking method for robot arm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |