CN114332073A - 目标工件的检测方法及装置、智能分拣系统和存储介质 - Google Patents
目标工件的检测方法及装置、智能分拣系统和存储介质 Download PDFInfo
- Publication number
- CN114332073A CN114332073A CN202210041127.2A CN202210041127A CN114332073A CN 114332073 A CN114332073 A CN 114332073A CN 202210041127 A CN202210041127 A CN 202210041127A CN 114332073 A CN114332073 A CN 114332073A
- Authority
- CN
- China
- Prior art keywords
- target
- determining
- workpiece
- cloud data
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 title description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000005192 partition Methods 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 11
- 239000002699 waste material Substances 0.000 abstract description 9
- 229910000831 Steel Inorganic materials 0.000 description 9
- 239000010959 steel Substances 0.000 description 9
- 238000000605 extraction Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种目标工件的检测方法及装置、分拣系统和存储介质，方法包括：获取原始工件在第一坐标系下的纹理图像信息和深度图像信息；根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据；根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据；根据第二点云数据及与目标工件匹配的目标模板确定目标区域；根据目标区域确定目标工件是否存在。本发明在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
Description
技术领域
本发明涉及智能分拣技术领域，尤其是涉及一种目标工件的检测方法及装置、智能分拣系统和存储介质。
背景技术
目前，在钢板自动分拣产线上，一般是通过识别定位的方法去抓取工件，然而，在实际生产和运输的过程中，钢板的自动下料和运输过程通常存在人工干预，在人工干预下容易导致工件放置位置出现异常，或者，在工件运输过程中出现自动滑落等问题。
导致在钢板到达实际分拣工位的时候，部分工件已经不在原钢板切割后的区域，使得钢板在自动分拣时，会出现对不存在工件的位置进行抓取并进行放置，从而浪费生产节拍和增加能耗，极大的影响了分拣效率。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。
为此，本发明的第一个目的在于提出一种目标工件的检测方法，该方法通过获取原始工件在第一坐标系下的纹理图像信息和深度图像信息，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，根据第二点云数据及与目标工件匹配的目标模板确定目标区域，根据目标区域确定目标工件是否存在，由此，在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
为此，本发明的第二个目的在于提出一种目标工件的检测装置。
为此，本发明的第三个目的在于提出一种智能分拣系统。
为此，本发明的第四个目的在于提出一种计算机可读存储介质。
为了达到上述目的，本发明的第一方面的实施例提出了一种目标工件的检测方法，该方法包括：获取原始工件在第一坐标下的纹理图像信息和深度图像信息；根据所述纹理图像信息和所述深度图像信息确定所述原始工件在第二坐标系下的第一点云数据；根据所述第一点云数据和转换矩阵确定所述原始工件在第二坐标系下的第二点云数据；根据所述第二点云数据及与目标工件匹配的目标特征点集确定目标区域；根据所述目标区域确定所述目标工件是否存在。
根据本发明实施例的目标工件的检测方法，通过获取原始工件在第一坐标系下的纹理图像信息和深度图像信息，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，根据第二点云数据中的纹理数据及与目标工件的目标模板的匹配结果确定目标区域，根据目标区域确定目标工件是否存在，由此，在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
在一些实施例中，根据所述第一点云数据和转换矩阵确定所述原始工件在第二坐标系下的第二点云数据，包括：确定所述第一点云数据在成像平面上的第一法向量及所述第一点云数据在垂直视场平面上的第二法向量；根据所述第一法向量和所述第二法向量确定所述转换矩阵；根据所述第一点云数据和所述转换矩阵确定所述原始工件在第二坐标下的第二点云数据。
在一些实施例中，根据所述第二点云数据及与目标工件匹配的目标模板确定目标区域，包括：根据所述第二点云数据确定与所述原始工件对应的待匹配特征点集；根据所述待匹配特征点集与所述目标模板确定所述目标区域。
在一些实施例中，根据所述待匹配特征点集与所述目标模板确定所述目标区域，包括：确定与所述目标模板对应的匹配滑窗区域；根据所述匹配滑窗区域对所述待匹配特征点集进行分区；比较所述匹配滑窗区域的目标特征点集与所述分区对应的待匹配特征点集的相似度；确定所述目标特征点集与所述分区对应的待匹配特征点集的相似度最大的分区，根据所述分区确定所述目标区域。
在一些实施例中，根据所述分区确定所述目标区域，包括：确定所述分区在所述第二坐标下的第二点云数据；根据所述转换矩阵和所述第二点云数据确定所述分区在所述第二坐标下的第一点云数据；根据所述第一点云数据确定所述分区在所述第一坐标下的区域，并将所述区域作为所述目标区域。
在一些实施例中，根据所述目标区域确定所述目标工件是否存在，包括：对所述目标区域进行分割，确定分割后的所述目标区域中的图像；对所述图像进行分类，得到分类结果，在所述分类结果满足预设结果时，确定所述目标工件存在；在所述分类结果不满足所述预设结果时，确定所述目标工件不存在。
在一些实施例中，在所述目标工件不存在时，发出报警信息。
为实现上述目的，本发明第二方面的实施例提出了一种目标工件的检测装置，该装置包括：获取模块，用于获取原始工件在第一坐标系下的纹理图像信息和深度图像信息；第一确定模块，用于根据所述纹理图像信息和所述深度图像信息确定所述原始工件在第二坐标系下的第一点云数据；第二确定模块，用于根据所述第一点云数据和转换矩阵确定所述原始工件在第二坐标系下的第二点云数据；第三确定模块，用于根据所述第二点云数据及与目标工件匹配的目标模板确定目标区域；第四确定模块，用于根据所述目标区域确定所述目标工件是否存在。
根据本发明实施例的目标工件的检测装置，通过获取原始工件在第一坐标系下的纹理图像信息和深度图像信息，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，根据第二点云数据中的纹理数据及与目标工件和目标模板的匹配结果确定目标区域，根据目标区域确定目标工件是否存在，由此，在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
为实现上述目的，本发明第三方面的实施例提出了一种分拣系统，该系统包括：上述实施例的目标工件的检测装置。
根据本发明实施例的分拣系统，通过获取原始工件在第一坐标系下的纹理图像信息和深度图像信息，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，根据第二点云数据中的纹理数据及与目标工件和目标模板的匹配结果确定目标区域，根据目标区域确定目标工件是否存在，由此，在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
为实现上述目的，本发明第四方面的实施例提出了一种非临时性计算机可读存储介质，所述计算机可读存储介质上存储有目标工件的检测程序，所述目标工件的检测程序被处理器执行时实现如上述实施例所述的目标工件的检测方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的目标工件的检测方法的流程图；
图2是根据本发明一个实施例的目标工件的检测装置的框图；
图3是根据本发明一个实施例的分拣系统的框图。
具体实施方式
下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。
在相关技术中，采用定位识别的方法抓取工件，主要是接触检测，在检测到工件不在原钢板的切割区域时，已经控制分拣装置进行了抓取，浪费节拍，以及，在进行抓取时，容易受到外界干扰，从而产生误触发的情况，极大的降低了检测的准确性。
由此，采用本发明实施例的目标工件的检测方法，在还未进行分拣前，提前对目标工件所在的区域进行检测，在确定目标区域内存在目标工件时，再对工标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
下面对本发明实施例的目标工件的检测方法进行说明。
下面参考图1描述本发明实施例的目标工件的检测方法，如图1所示，本发明实施例的目标工件的检测方法至少包括步骤S1-步骤S5。
步骤S1，获取原始工件在第一坐标系下的纹理图像信息和深度图像信息。
在实施例中，第一坐标系例如图像坐标系，采用3D(3-dimension，三维)相机采集原始工件，例如原钢板纹理图像信息和深度图像信息，即，获取原钢板在图像坐标下的纹理图像信息和深度图像信息，可以理解的是，原始工件的纹理图像信息为2D图像信息，主要表示原始工件的色彩和纹理图像，原始工件的深度图像信息为3D图像信息，通过获取原始工件在第一坐标下的纹理图像信息和深度图像信息，便于根据原始工件的纹理图像信息和深度图像信息对原始工件的图像进行处理。
步骤S2，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据。
在实施例中，第二坐标系例如相机坐标系，采用3D相机获取原始工件在第一坐标下的纹理图像信息和深度图像信息后，根据相机的成像原理，将第一坐标下的纹理图像和深度图像转换为第二坐标下的第一点云数据。其中，第一点云数据为存在高度差异的图像数据。
步骤S3，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据。
其中，第一点云数据例如相机沿设定倾斜角度拍摄，经转换处理得到图像的点云数据，转换矩阵为第一点云数据和第二点云数据之间的转换关系矩阵，通过转换矩阵可以对第一点云数据进行数据校正。
在实施例中，在确定原始工件的第一点云数据后，根据第一点云数据和转换矩阵对第一点云数据进行数据校正，从而得到原始工件在第二坐标下的第二点云数据，以实现对原始工件图像的校正。
步骤S4，根据第二点云数据及与目标工件匹配的目标模板确定目标区域。
其中，与目标工件匹配的目标模板例如包括多个目标工件的区域，通过对目标模板进行基于灰度的特征点计算和提取，将经过提取和计算后的点作为目标特征点，即，目标模板的目标特征点。
在实施例中，确定原始工件对应的第二点云数据后，根据第二点云数据和目标模板实现对目标区域的确定，可以理解的是，将目标模板的目标特征点与第二点云数据进行比较，确定与目标模板中目标特征点相似度最大的第二点云数据的区域作为目标区域，通过确定目标区域，便于根据目标区域确定目标工件是否存在，从而提高目标检测的准确性。
步骤S5，根据目标区域确定目标工件是否存在。
在实施例中，确定目标区域后，对目标区域进行处理，通过算法处理确定目标区域中是否存在目标工件，若目标区域中存在目标工件，则对目标工件进行抓取，若目标区域中不存在目标工件，则无需对目标工件进行抓取，通过对目标区域中是否存在目标工件进行识别，以便在目标区域中不存在目标工件时，无需对目标工件进行抓取，从而避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
根据本发明实施例的目标工件的检测方法，通过获取原始工件在第一坐标系下的纹理图像信息和深度图像信息，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，根据第二点云数据中的纹理数据及与目标工件和目标模板的匹配结果确定目标区域，根据目标区域确定目标工件是否存在，由此，在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
在一些实施例中，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，包括：确定第一点云数据在成像平面上的第一法向量及第一点云数据在垂直视场平面上的第二法向量；根据第一法向量和第二法向量确定转换矩阵；根据第一点云数据和转换矩阵确定原始工件在第二坐标下的第二点云数据。
在实施例中，在第二坐标系下成像平面和垂直视场平面存在一定的夹角，因此，第一点云数据和第二点云数据在第二坐标系下存在一定的视角差，即，存在透视变换，因此，在确定第二坐标系下的第一点云数据后，需要对第一点云数据进行视角矫正，以减小视角差对匹配的影响。
具体而言，基于聚类算法确定第一点云数据的最大成像平面，并确定第一点云数据在成像平面上的第一法向量，以及，确定第一点云数据的垂直视场平面，并确定第一点云数据在垂直视场平面上的第二法向量，并根据第一法向量和第二法向量确定转换矩阵，在确定转换矩阵后，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，以实现对第一点云数据的视角矫正。通过对第一点云数据进行视角矫正，可以减少视角差对第一点云数据的影响，从而提高确定目标区域的准确性。
在一些实施例中，根据第二点云数据及与目标工件匹配的目标特征点确定目标区域，包括：根据第二点云数据确定与原始工件对应的待匹配特征点集；根据待匹配特征点集与目标模板确定目标区域。
在实施例中，确定第二点云数据后，根据第二点云数据对纹理图像信息进行基于梯度的特征点提取，提取计算后将合适的特征点集作为待匹配特征点集，并将待匹配特征点集与目标模板进行比较，即，将待匹配特征点集与目标模板的目标特征点集进行比较，确定相似度最大的区域作为目标区域。
在一些实施例中，根据待匹配特征点集与目标特征点集确定目标区域，包括：确定与目标模板对应的匹配滑窗区域；根据匹配滑窗区域对原始工件中待匹配特征点集进行分区；比较匹配滑窗区域的目标特征点集与分区对应的待匹配特征点集的相似度；确定目标特征点集与分区对应的待匹配特征点集的相似度最大的分区，根据分区确定目标区域。
在实施例中，根据目标模板的大小设置与目标模板对应的匹配滑窗区域，根据匹配滑窗区域对待匹配特征点集进行分区，即，从原始工件的左上角开始，按照匹配滑窗区域从左向右、从上至下依次对待匹配特征点集进行匹配，比较匹配滑窗区域的目标特征点集与分区对应的待匹配特征点集的相似度，每次匹配计算目标特征点集与待匹配特征点集两者之间的相似度，并在两者之间的相似度大于预设相似度阈值时，确定该分区，并根据该分区确定目标区域。通过比较匹配滑窗区域的目标特征点集与分区对应的待匹配特征点集，确定相似度最大的分区，便于提高确定目标区域的准确性。
在一些实施例中，根据分区确定目标区域，包括：确定分区在第二坐标下的第二点云数据；根据转换矩阵和第二点云数据确定分区在第二坐标下的第一点云数据；根据第一点云数据确定分区在第一坐标下的区域，并将区域作为目标区域。换言之，确定相似度最大的分区后，根据图像坐标系到相机坐标系及正视角坐标系的转换矩阵，将第二点云数据匹配获取到目标区域逆变换回图像坐标系中，获取对应位置的图像区域，并将该区域作为目标区域。
在一些实施例中，对目标区域进行分割，确定分割后的目标区域中的图像；对图像进行分类，得到分类结果，在分类结果满足预设结果时，确定目标工件存在；在分类结果不满足预设结果时，确定目标工件不存在。
在实施例中，采用了基于EfficientNet-B0(高效网络-B0)网络判断目标区域是否存在目标工件的分类任务，网络通过复合缩放的方法，按照比例对网络宽度，深度以及输入图像分辨率三个维度进行扩展，寻求最大化识别精度需要的最优参数，得到分类结果，在分类结果满足预设结果时，认为目标工件存在，在分类结果不满足预设结果时，认为目标工件不存在。
在一些实施例中，在目标工件不存在时，发出报警信息，从而无需进行目标工件的抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
根据本发明实施例的目标工件的检测方法，通过获取原始工件在第一坐标系下的纹理图像信息和深度图像信息，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，根据第二点云数据中的纹理数据及与目标工件和目标模板的匹配结果确定目标区域，根据目标区域确定目标工件是否存在，由此，在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
下面描述本发明实施例的目标工件的检测装置。
如图2所示，本发明实施例的目标工件的检测装2包括获取模块20、第一确定模块21、第二确定模块22、第三确定模块23和第四确定模块24，其中，获取模块20用于获取原始工件在第一坐标系下的纹理图像信息和深度图像信息；第一确定模块21用于根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据；第二确定模块22用于根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据；第三确定模块23用于根据第二点云数据及与目标工件匹配的目标模板确定目标区域；第四确定模块24用于根据目标区域确定目标工件是否存在。
根据本发明实施例的目标工件的检测装置2，通过获取原始工件在第一坐标系下的纹理图像信息和深度图像信息，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，根据第二点云数据中的纹理数据及与目标工件和目标模板的匹配结果确定目标区域，根据目标区域确定目标工件是否存在，由此，在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
下面描述本发明实施例的分拣系统。
如图3所示，本发明实施例的分拣系统3包括上述实施例的目标工件的检测装置2。
根据本发明实施例的分拣系统3，通过获取原始工件在第一坐标系下的纹理图像信息和深度图像信息，根据纹理图像信息和深度图像信息确定原始工件在第二坐标系下的第一点云数据，根据第一点云数据和转换矩阵确定原始工件在第二坐标系下的第二点云数据，根据第二点云数据中的纹理数据及与目标工件和目标模板的匹配结果确定目标区域，根据目标区域确定目标工件是否存在，由此，在对目标工件抓取之前，对目标区域进行识别检测，从而在目标区域中不存在目标工件时，不对目标工件进行抓取，避免浪费节拍和能耗，在节省分拣时间的同时，极大的提高了分拣效率。
为实现上述目的，本发明第四方面的实施例提出了一种计算机可读存储介质，计算机可读存储介质上存储有目标工件的检测程序，目标工件的检测程序被处理器执行时实现如上述实施例的目标工件的检测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种目标工件的检测方法，其特征在于，包括：
获取原始工件在第一坐标系下的纹理图像信息和深度图像信息；
根据所述纹理图像信息和所述深度图像信息确定所述原始工件在第二坐标系下的第一点云数据；
根据所述第一点云数据和转换矩阵确定所述原始工件在第二坐标系下的第二点云数据；
根据所述第二点云数据及与目标工件匹配的目标模板确定目标区域；
根据所述目标区域确定所述目标工件是否存在。
2.根据权利要求1所述的目标工件的检测方法，其特征在于，根据所述第一点云数据和转换矩阵确定所述原始工件在第二坐标系下的第二点云数据，包括：
确定所述第一点云数据在成像平面上的第一法向量及所述第一点云数据在垂直视场平面上的第二法向量；
根据所述第一法向量和所述第二法向量确定所述转换矩阵；
根据所述第一点云数据和所述转换矩阵确定所述原始工件在第二坐标下的第二点云数据。
3.根据权利要求1所述的目标工件的检测方法，其特征在于，根据所述第二点云数据及与目标工件匹配的目标模板确定目标区域，包括：
根据所述第二点云数据确定与所述原始工件对应的待匹配特征点集；
根据所述待匹配特征点集与所述目标模板确定所述目标区域。
4.根据权利要求3所述的目标工件的检测方法，其特征在于，根据所述待匹配特征点集与所述目标模板确定所述目标区域，包括：
确定与所述目标模板对应的匹配滑窗区域；
根据所述匹配滑窗区域对所述待匹配特征点集进行分区；
比较所述匹配滑窗区域的目标特征点集与所述分区对应的待匹配特征点集的相似度；
确定所述目标特征点集与所述分区对应的待匹配特征点集的相似度最大的分区，根据所述分区确定所述目标区域。
5.根据权利要求4所述的目标工件的检测方法，其特征在于，根据所述分区确定所述目标区域，包括：
确定所述分区在所述第二坐标下的第二点云数据；
根据所述转换矩阵和所述第二点云数据确定所述分区在所述第二坐标下的第一点云数据；
根据所述第一点云数据确定所述分区在所述第一坐标下的区域，并将所述区域作为所述目标区域。
6.根据权利要求1所述的目标工件的检测方法，其特征在于，根据所述目标区域确定所述目标工件是否存在，包括：
对所述目标区域进行分割，确定分割后的所述目标区域中的图像；
对所述图像进行分类，得到分类结果，在所述分类结果满足预设结果时，确定所述目标工件存在；在所述分类结果不满足所述预设结果时，确定所述目标工件不存在。
7.根据权利要求6所述的目标工件的检测方法，其特征在于，在所述目标工件不存在时，发出报警信息。
8.一种目标工件的检测装置，其特征在于，包括：
获取模块，用于获取原始工件在第一坐标系下的纹理图像信息和深度图像信息；
第一确定模块，用于根据所述纹理图像信息和所述深度图像信息确定所述原始工件在第二坐标系下的第一点云数据；
第二确定模块，用于根据所述第一点云数据和转换矩阵确定所述原始工件在第二坐标系下的第二点云数据；
第三确定模块，用于根据所述第二点云数据及与目标工件匹配的目标模板确定目标区域；
第四确定模块，用于根据所述目标区域确定所述目标工件是否存在。
9.一种分拣系统，其特征在于，包括：如权利要求8所述的目标工件的检测装置。
10.一种非临时性计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有目标工件的检测程序，所述目标工件的检测程序被处理器执行时实现如权利要求1-7任一项所述的目标工件的检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210041127.2A CN114332073A (zh) | 2022-01-14 | 2022-01-14 | 目标工件的检测方法及装置、智能分拣系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210041127.2A CN114332073A (zh) | 2022-01-14 | 2022-01-14 | 目标工件的检测方法及装置、智能分拣系统和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332073A true CN114332073A (zh) | 2022-04-12 |
Family
ID=81026141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210041127.2A Pending CN114332073A (zh) | 2022-01-14 | 2022-01-14 | 目标工件的检测方法及装置、智能分拣系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332073A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115582840A (zh) * | 2022-11-14 | 2023-01-10 | 湖南视比特机器人有限公司 | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139416A (zh) * | 2015-10-10 | 2015-12-09 | 北京微尘嘉业科技有限公司 | 一种基于图像信息和深度信息的物体识别方法 |
| CN105976375A (zh) * | 2016-05-06 | 2016-09-28 | 苏州中德睿博智能科技有限公司 | 一种基于rgb-d类传感器的托盘识别和定位方法 |
| CN110285754A (zh) * | 2019-07-02 | 2019-09-27 | 深圳市镭神智能系统有限公司 | 基于激光扫描的工件定位方法、装置、系统和存储介质 |
| CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
| CN111443091A (zh) * | 2020-04-08 | 2020-07-24 | 中国电力科学研究院有限公司 | 电缆线路隧道工程缺陷判断方法 |
| CN111524115A (zh) * | 2020-04-17 | 2020-08-11 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、系统及装置 |
| US10766141B1 (en) * | 2019-05-09 | 2020-09-08 | Mujin, Inc. | Robotic system with a coordinated transfer mechanism |
| CN113034600A (zh) * | 2021-04-23 | 2021-06-25 | 上海交通大学 | 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 |
| CN113222940A (zh) * | 2021-05-17 | 2021-08-06 | 哈尔滨工业大学 | 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 |
| CN113246140A (zh) * | 2021-06-22 | 2021-08-13 | 沈阳风驰软件股份有限公司 | 一种基于相机测量的多模型工件无序抓取方法及装置 |
| CN113344917A (zh) * | 2021-07-28 | 2021-09-03 | 浙江华睿科技股份有限公司 | 一种检测方法、装置、电子设备及存储介质 |
| CN113610921A (zh) * | 2021-08-06 | 2021-11-05 | 沈阳风驰软件股份有限公司 | 混合工件抓取方法、设备及计算机可读存储介质 |
-
2022
- 2022-01-14 CN CN202210041127.2A patent/CN114332073A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105139416A (zh) * | 2015-10-10 | 2015-12-09 | 北京微尘嘉业科技有限公司 | 一种基于图像信息和深度信息的物体识别方法 |
| CN105976375A (zh) * | 2016-05-06 | 2016-09-28 | 苏州中德睿博智能科技有限公司 | 一种基于rgb-d类传感器的托盘识别和定位方法 |
| US10766141B1 (en) * | 2019-05-09 | 2020-09-08 | Mujin, Inc. | Robotic system with a coordinated transfer mechanism |
| CN110285754A (zh) * | 2019-07-02 | 2019-09-27 | 深圳市镭神智能系统有限公司 | 基于激光扫描的工件定位方法、装置、系统和存储介质 |
| CN111161243A (zh) * | 2019-12-30 | 2020-05-15 | 华南理工大学 | 基于样本增强的工业产品表面缺陷检测方法 |
| CN111443091A (zh) * | 2020-04-08 | 2020-07-24 | 中国电力科学研究院有限公司 | 电缆线路隧道工程缺陷判断方法 |
| CN111515945A (zh) * | 2020-04-10 | 2020-08-11 | 广州大学 | 机械臂视觉定位分拣抓取的控制方法、系统及装置 |
| CN111524115A (zh) * | 2020-04-17 | 2020-08-11 | 湖南视比特机器人有限公司 | 钢板切割件的定位方法和分拣系统 |
| CN113034600A (zh) * | 2021-04-23 | 2021-06-25 | 上海交通大学 | 基于模板匹配的无纹理平面结构工业零件识别和6d位姿估计方法 |
| CN113222940A (zh) * | 2021-05-17 | 2021-08-06 | 哈尔滨工业大学 | 一种基于rgb-d图像和cad模型的机器人自动抓取工件方法 |
| CN113246140A (zh) * | 2021-06-22 | 2021-08-13 | 沈阳风驰软件股份有限公司 | 一种基于相机测量的多模型工件无序抓取方法及装置 |
| CN113344917A (zh) * | 2021-07-28 | 2021-09-03 | 浙江华睿科技股份有限公司 | 一种检测方法、装置、电子设备及存储介质 |
| CN113610921A (zh) * | 2021-08-06 | 2021-11-05 | 沈阳风驰软件股份有限公司 | 混合工件抓取方法、设备及计算机可读存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| HUI XU ET.AL: "RGB-D-Based Pose Estimation of Workpieces with Semantic Segmentation and Point Cloud Registration", ITALIAN NATIONAL CONFERENCE ON SENSORS, 30 April 2019 (2019-04-30), pages 1 - 21 * |
| 何若涛等: "基于RGB-D图像的三维物体检测与抓取", 机械工程与自动化, no. 05, 11 October 2017 (2017-10-11), pages 28 - 30 * |
| 曹其新: "泛在机器人技术与实践", 30 September 2021, 国防工业出版社, pages: 160 - 165 * |
| 董俊杰: "基于三维视觉的工件识别与定位", 中国优秀硕士学位论文全文数据库-工程科技Ⅱ辑, 15 January 2019 (2019-01-15), pages 029 - 457 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115582840A (zh) * | 2022-11-14 | 2023-01-10 | 湖南视比特机器人有限公司 | 无边框钢板工件分拣抓取位姿计算方法、分拣方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145905B (zh) | 电梯紧固螺帽松动的图像识别检测方法 | |
| US9704017B2 (en) | Image processing device, program, image processing method, computer-readable medium, and image processing system | |
| CN110648367A (zh) | 一种基于多层深度与彩色视觉信息的几何体目标定位方法 | |
| CN111652085B (zh) | 基于2d与3d特征结合的物体识别方法 | |
| JP5376906B2 (ja) | 特徴量抽出装置、物体識別装置及び特徴量抽出方法 | |
| US10445868B2 (en) | Method for detecting a defect on a surface of a tire | |
| CN111369516B (zh) | 基于红外图像识别的变压器套管发热缺陷检测方法 | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| CN101383005B (zh) | 一种利用辅助规则纹理的乘客目标图像和背景分离方法 | |
| CN113891775A (zh) | 用于提供板块规划几何数据的方法、用于切出工件的方法和平面激光机床 | |
| CN113513991B (zh) | 一种电池极片毛刺高度检测方法及装置 | |
| CN115511875A (zh) | 货物堆积的检测方法、装置、设备及存储介质 | |
| CN114332073A (zh) | 目标工件的检测方法及装置、智能分拣系统和存储介质 | |
| CN115082559A (zh) | 一种柔性件的多目标智能分拣方法、系统及存储介质 | |
| CN106900601B (zh) | 一种快速精准识别对虾图像虾头点与虾尾点的方法 | |
| CN109255792A (zh) | 一种视频图像的分割方法、装置、终端设备及存储介质 | |
| CN111597904A (zh) | 用于隧道电缆支架倾斜的识别方法 | |
| Tang et al. | Surface inspection system of steel strip based on machine vision | |
| CN106530292B (zh) | 一种基于线扫描相机的带钢表面缺陷图像快速辨识方法 | |
| JP2021111423A5 (zh) | ||
| KR101696086B1 (ko) | 소나 이미지 내의 물체 부분 추출 방법 및 장치 | |
| CN113705487B (zh) | 精密工件识别及工艺参数关联系统以及识别方法 | |
| CN112837285B (zh) | 一种板面图像的边缘检测方法及装置 | |
| CN116563591A (zh) | 一种基于特征提取的海天背景下的光学烟雾检测方法 | |
| CN116563659A (zh) | 一种结合先验知识和特征分类的光学烟雾检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |