CN112102397B - 一种多层零件的定位方法、设备、系统及可读存储介质 - Google Patents
一种多层零件的定位方法、设备、系统及可读存储介质 Download PDFInfo
- Publication number
- CN112102397B CN112102397B CN202010949107.6A CN202010949107A CN112102397B CN 112102397 B CN112102397 B CN 112102397B CN 202010949107 A CN202010949107 A CN 202010949107A CN 112102397 B CN112102397 B CN 112102397B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- data
- obtaining
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 19
- 230000005484 gravity Effects 0.000 claims description 14
- 238000003708 edge detection Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 description 26
- 239000010410 layer Substances 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 101001022170 Homo sapiens FYN-binding protein 2 Proteins 0.000 description 1
- 101000990990 Homo sapiens Midkine Proteins 0.000 description 1
- 102100030335 Midkine Human genes 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请涉及图像识别的技术领域，尤其是涉及一种多层零件的定位方法、设备、系统及可读存储介质，其方法包括：采集多层零件的三维图像；根据所述三维图像，获得所述多层零件的初始点云数据；根据所述初始点云数据，获得目标零件的轮廓数据，所述目标零件为所述多层零件中最上层的零件；根据所述轮廓数据，获得所述目标零件的重心坐标，所述重心坐标用于指引自动化设备定位所述目标零件。其优点在于适用性强、识别速度快以及定位精度高。
Description
技术领域
本申请涉及图像识别的技术领域，尤其是涉及一种多层零件的定位方法、设备、系统及可读存储介质。
背景技术
随着自动化技术的发展，在工业生产流水线中，放置于载物平台上的各类零件，多是通过自动化设备来完成检测、识别、分拣、抓取与回收等工作。
为确保自动化设备的正常运行，相关技术一般是通过采集并分析目标零件的二维图像，来辅助自动化设备对目标零件进行识别与定位；
但是由于相关技术对二维图像的识别与定位精度低，所以使得在使用相关技术时，自动化设备无法精准获取目标零件的坐标信息，故而导致自动化设备工作时的误操作率较高。
发明内容
针对相关技术存在的不足，本申请的目的是提供一种多层零件的定位方法、设备、系统及可读存储介质，其方法能通过获得目标零件的重心坐标的方式，来辅助自动化设备对目标零件进行精准定位，并相应降低自动化设备工作时的误操作率。
本申请的上述发明目的是通过以下技术方案得以实现的：
第一方面，本申请实施例提供了一种多层零件的定位方法，该方法包括：
采集多层零件的三维图像；
根据所述三维图像，获得所述多层零件的初始点云数据；
根据所述初始点云数据，获得目标零件的轮廓数据，所述目标零件为所述多层零件中最上层的零件；
根据所述轮廓数据，获得所述目标零件的重心坐标，所述重心坐标用于指引自动化设备定位所述目标零件。
相较于相关技术采集并识别目标零件的二维图像的方式，本申请通过获得目标零件的重心坐标的方式，不仅能获取到目标零件的长度信息和宽度信息，还能获取到目标零件的高度信息，故而能实现对目标零件的三维图像的识别与定位，因此自动化设备定位目标零件的准确度能获得提升，这使得自动化设备工作时的误操作率会相应降低。
可选的，所述根据所述三维图像，获得所述多层零件的初始点云数据包括：
对所述三维图像进行刚体变换，获得变换后的三维图像；
根据所述变换后的三维图像，获得所述多层零件的初始点云数据。
可选的，所述根据所述初始点云数据，获得目标零件的轮廓数据包括：
根据所述初始点云数据和第一图像降噪算法，获得第一点云数据，所述第一点云数据用于指示筛除载物平台后的初始点云数据；
根据所述第一点云数据，获得目标零件的轮廓数据。
可选的，所述根据所述第一点云数据，获得目标零件的轮廓数据包括：
根据所述第一点云数据和第二图像降噪算法，获得第二点云数据，所述第二点云数据用于指示筛除图像噪点后的第一点云数据；
根据所述第二点云数据，获得目标零件的轮廓数据。
可选的，所述根据所述第二点云数据，获得目标零件的轮廓数据包括：
对所述第二点云数据进行分类，获得多组点云数据集，所述多组点云数据集与多层零件一一对应；
根据所述多组点云数据集，获得与目标零件对应的目标数据集；
根据所述目标数据集，获得目标零件的轮廓数据。
可选的，所述根据所述目标数据集，获得目标零件的轮廓数据包括：
对所述目标数据集进行灰度化处理，获得目标灰度数据；
根据所述目标灰度数据和边缘检测算法，获得所述目标零件的轮廓数据。
可选的，所述根据所述轮廓数据，获得所述目标零件的重心坐标包括：
利用灰度重心法对所述轮廓数据进行处理，获得所述目标零件的重心坐标。
第二方面，一种多层零件的定位设备，该设备包括：
采集模块，用于采集多层零件的三维图像；
处理模块，用于根据所述三维图像，获得所述多层零件的初始点云数据；
识别模块，根据所述初始点云数据和边缘检测算法，获得目标零件的轮廓数据，所述目标零件用于指示位于多层零件最上层的零件；
定位模块，根据所述轮廓数据，获得所述目标零件的重心坐标，所述重心坐标用于指引自动化设备定位所述目标零件。
第三方面，一种多层零件的定位系统，该系统包括：
采集装置，用于采集多层零件的三维图像；
处理装置，用于根据所述三维图像，获得所述多层零件的初始点云数据；
识别装置，根据所述初始点云数据和边缘检测算法，获得目标零件的轮廓数据，所述目标零件用于指示位于多层零件最上层的零件；
定位装置，根据所述轮廓数据，获得所述目标零件的重心坐标，所述重心坐标用于指引自动化设备定位所述目标零件。
第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序包括程序指令，该程序指令被处理器执行时实现如上述第一方面所述的多层零件的定位方法。
本申请提供了一种多层零件的定位方法、设备、系统及可读存储介质，其包括：采集多层零件的三维图像；根据所述三维图像，获得所述多层零件的初始点云数据；根据所述初始点云数据，获得目标零件的轮廓数据，所述目标零件为所述多层零件中最上层的零件；根据所述轮廓数据，获得所述目标零件的重心坐标，所述重心坐标用于指引自动化设备定位所述目标零件。
本申请所提供技术方案达到的有益效果是：通过获得所述目标零件的重心坐标的方式，对目标零件的长度信息、宽度信息和高度信息进行获取，以实现实现对目标零件的三维图像的识别与定位，使自动化设备定位目标零件的准确度获得提升，并让自动化设备工作时的误操作率相应降低。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种多层零件的定位方法流程图；
图2是本申请实施例二提供的一种多层零件的定位方法流程图；
图3是本申请实施例三提供的一种多层零件的定位装置的结构示意图；
图4是本申请实施例四提供的一种多层零件的定位系统的结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一：
参照图1，为本申请公开的一种多层零件的定位方法，具体包括如下步骤：
101、采集多层零件的三维图像。
102、根据三维图像，获得多层零件的初始点云数据。
具体的，对三维图像进行刚体变换，获得变换后的三维图像；
根据变换后的三维图像，获得多层零件的初始点云数据。
103、根据初始点云数据，获得目标零件的轮廓数据。
具体的，目标零件为多层零件中最上层的零件；步骤103的执行过程可以为：
根据初始点云数据和第一图像降噪算法，获得第一点云数据，该第一点云数据用于指示筛除载物平台后的初始点云数据；
根据第一点云数据，获得目标零件的轮廓数据，该过程可以为：
根据第一点云数据和第二图像降噪算法，获得第二点云数据，该第二点云数据用于指示筛除图像噪点后的第一点云数据；
根据第二点云数据，获得目标零件的轮廓数据，该过程可以为：
对第二点云数据进行分类，获得与多层零件一一对应的多组点云数据集，
根据多组点云数据集，获得与目标零件对应的目标数据集，
根据目标数据集，获得目标零件的轮廓数据，该过程可以为：
对目标数据集进行灰度化处理，获得目标灰度数据；
根据目标灰度数据和边缘检测算法，获得目标零件的轮廓数据。
104、根据轮廓数据，获得目标零件的重心坐标。
具体的，上述重心坐标用于指引自动化设备定位目标零件，步骤104所述的过程可以为：
利用灰度重心法对所述轮廓数据进行处理，获得所述目标零件的重心坐标。
实施例二：
本申请实施例提供了一种多层零件的定位方法，参照图2所示，该方法包括：
201、采集多层零件的三维图像。
具体的，三维图像包括多层零件的深度图像数据和多层零件的RGB图像数据。
在实际应用中，用于采集多层零件的三维图像的可以是三维面阵相机，也可以是具备三维数据采集功能和色彩采集功能的拍摄设备，本申请实施例对具体的用于采集三维图像的设备不加以限定。
在相关技术中，多层零件的二维图像采集工作一般是通过线阵相机来完成，由于线阵相机在采集二维图像时，需要配以光栅等器件作扫描运动，所以使得图像采集工作易受环境光源等的干扰，这导致最终采集的二维图像的成像效果较差；并且因为线阵相机需进行扫描运动，所以也使得二维图像的采集效率较低。
而在本申请中，以三维面阵相机为例，在采集多层零件的三维图像时，无需进行扫描运动，便可获得包括有多层零件的深度图像数据和多层零件的RGB图像数据的三维图像，相较于线阵相机扫描式的采集方法，三维面阵相机的采集效率更高；同时还因为三维面阵相机拍摄时无需外置光栅等光源，所以受环境光源干扰较小，故而通过三维面阵相机拍摄得到的三维图像的成像效果较好。
因为本申请中所提及方法中，三维图像的采集速率快，采集精度高，所以本申请在对所采集三维图像进行处理时，所获得的用于定位目标零件的坐标信息也更加准确，这能提升自动化设备对目标零件的定位精度，并相应降低自动化设备工作时的误操作率。
202、对三维图像进行刚体变换，获得变换后的三维图像。
具体的，根据多层零件的深度图像数据和多层零件的RGB图像数据，构建三维坐标系，并在该三维坐标系内生成多层零件的RGB坐标数据；
根据上述RGB坐标数据，通过刚体变换算法，获得原始点云数据，该原始点云数据用于描述多层零件。
通过刚体变换算法的方式，对多层零件在三维坐标系内的位置进行调整，使多层零件得以正放于三维坐标系内；这不仅能降低三维面阵相机在采集三维图像的过程中，因拍摄角度和拍摄距离所导致的采集误差，还能便利后续对目标零件的识别与定位工作，令自动化设备对目标零件的定位效率获得提升。
需要说明的是，刚体变换算法可以是ARAP变形算法（As-Rigid-As-Possible），也可以是其他任意具备刚体变换功能的算法，本申请实施例对具体的刚体变换算法并不加以限定。
203、根据变换后的三维图像，获得多层零件的初始点云数据。
具体的，通过体素网格滤波算法对上述原始点云数据进行过滤，获得初始点云数据。
204、根据第一图像降噪算法和初始点云数据，获得第一点云数据。
具体的，第一点云数据用于指示筛除载物平台后的初始点云数据，步骤204的执行过程可以为：
2041、根据随机采样一致性算法，从初始点云数据中随机获得三个不共线的采样点的采样坐标；
2042、根据步骤2041所获得的三个采样坐标，获得平面公式，该平面公式用于指示三个采样点所共同构成的采样平面；若某点的三维坐标满足该平面公式，则该点位于采样平面内；
2043、将初始点云数据代入步骤2042所获得的平面公式内，获得平面点数，该平面点数用于指示初始点云数据中，落入上述采样平面内的点的个数；
2044、记录步骤2043所获得的平面点数，并判断步骤2041的重复执行次数是否达到重复阈值，若是，则执行步骤2045；否则，则重新执行步骤2041-步骤2043；
2045、在步骤2044所获得的多个平面点数中，找寻平面点数数值大于或等于判定阈值的平面点数，并将该平面点数所对应的采样平面内的所有点从初始点云数据中筛除，将经过上述筛除处理后的初始点云数据称为第一点云数据。
其中，判定阈值是用于界定采样平面是否为载物平台所在平面的参数，若采样平面所对应的平面点数小于判定阈值，那么该采样平面将不会被判定为载物平台；若采样平面所对应的平面点数大于或等于判定阈值，那么该采样平面将会被判定为载物平台。
示例性地，通过随机采样一致性算法，从初始点云数据中选取三个不共线的采样点
，
，
；
根据上述三个采样点，构建采样平面（即上述三个采样点所共同构成的平面）的方程组：
解上述方程组得到采样平面的平面公式为
；
将初始点云数据带入上述平面公式内，若某点的三维坐标满足该平面公式，则将该点判定成位于采样平面内的一个点；若某点的三维坐标不满足该平面公式，则将该点判定成位于采样平面外的一个点；
待初始点云数据均代入上述平面公式并完成判定以后，统计采样平面内的点的个数，并将该个数称为此次随机采样的平面点数P；
重复上述过程直至随机采样的次数达到重复阈值T；
待随机采样的次数达到重复阈值T以后，将判定阈值Q与所获得的多个平面点数P逐一进行比较，找出满足P≥Q的条件的平面点数P，并将该平面点数P所对应的采样平面内的所有点从初始点云数据中筛除，把经过筛除后的初始点云数据称为第一点云数据。
205、根据第二图像降噪算法和第一点云数据，获得第二点云数据。
具体的，第二点云数据用于指示筛除图像噪点后的第一点云数据；步骤205的执行过程可以为：
2051、从第一点云数据中随机选择一个邻域U，并给定某一点云，在其领域U内，求该点全部点云的之间的平均距离的均值和方差；
均值：
方差：
其中，k表示U领域内点云的个数；
2052、通过给定的阈值T，获得该领域U所对应的点云坐标：
其中，T的大小取决于领域内点的数目，符合条件的点云数据被保留，否则被删除；
2053、重复步骤2051-步骤2052，直至第一点云数据中的所有数据均完成过滤。
三维图像中除了多层零件的图像以外，还存在有环境图像和载物平台图像，当三维图像转化为初始点云数据后，环境图像和载物平台图像也会一并随之转化进初始点云数据中，若不对初始点云数据进行筛分处理，则会导致后续对目标零件所进行的识别与定位工作受到干扰，这将使得目标零件的定位精度降低；
为避免上述情况的出现，使目标零件的定位精度尽可能提高，便需要对初始点云数据内的数据进行过滤，这其中，由于载物平台图像所转化为的初始点云数据呈连续排布，而由环境图像所转化的初始点云数据呈无序分布，所以需要先通过第一图像降噪算法的方式，把载物平台所对应的数据从初始点云数据中筛除，再通过第二图像降噪算法的方式，把环境噪点所对应的数据从第一点云数据中筛除。
通过上述的双重过滤方法，不仅能使初始点云数据的筛分效率获得提升，还能令初始点云数据的筛分效果得到提高，这使得目标零件的定位效率与定位精度将获得提升。
需要说明的是，该第二图像降噪算法可以是统计滤波算法，也可以是其他具备图像降噪功能的算法，本申请实施例对具体的降噪算法并不加以限定。
206、对第二点云数据进行分类，获得与多层零件一一对应的多组点云数据集。
具体的，上述目标零件为多层零件中最上层的零件，步骤206的执行过程可以为：
根据所获得的平面公式，得到三维坐标系原点与该平面公式所对应平面之间的距离，将该距离称为初始间距；
根据预先设定的单个零件的零件高度和上述初始间距，对所获得的第二点云数据进行分类，并得到多组点云数据集。
现假定根据上述方法所求得的初始间距为n，且预先设定的单个零件的零件高度为d，则第一层零件点云在相机z轴方向的距离范围为
，第二层的距离范围为
，后续依此类推，若多层零件最高为k层，则第k层零件的距离范围为
，其中k为正整数且不小于2；至于第一层零件则为多层零件中与载物平台抵接的最底层零件。
根据上述的多个距离范围，对所获得的第二点云数据进行分类，分别得到与每一层距离范围所对应的点云数据集。
207、根据多组点云数据集，获得与目标零件对应的目标数据集。
示例性地，因为点（0,0,Z）位于平面公式
所对应的平面内，所以可以求得
；
当C值不为0时，则初始间距为
；
当C值为0时，则初始间距为0；
从分类得到的多组点云数据集内，获得与第k层的距离范围所对应的点云数据集，该点云数据集即为与目标零件对应的目标数据集。
相关技术在辅助自动化设备对零件进行定位时，由于二维图像的限制，所以使得相关技术仅能辅助自动化设备完成单层零件的定位工作；但在实际生产环境中，零件堆叠的情况时有发生，这会对相关技术的识别与定位工作造成严重干扰；
而本申请通过对零件的三维图像进行分类，能让位于下层的零件图像和位于上层的零件图像相互分离，这使得后续在对三维图像作进一步识别与定位时，可以仅对上层的零件图像进行处理，这不仅能降低零件图像的数据处理量，提高对零件图像的识别与定位效率，还能使零件图像的识别与定位精度获得提高。
208、对目标数据集进行灰度化处理，获得目标灰度数据。
具体的，通过反向投影算法将步骤207所获得的目标数据集转为二维图像数据；
通过平均值法对上述二维图像数据作灰度化处理，得到目标灰度数据。
相较于直接用投影的方式将三维图像数据转为二维图像数据，采用反向投影算法把三维图像数据转为二维图像数据的方式，其能避免二维图像数据成像过于密集的情况发生，这使得转换后的二维图像数据无需再行过滤，因此目标零件的识别与定位流程将会得到简化，故而目标零件的识别与定位效率将会获得提升。
209、根据目标灰度数据和边缘检测算法，获得目标零件的轮廓数据。
具体的，根据Canny算法和所获得的目标灰度数据，获得目标零件的轮廓数据。
示例性地，假定目标灰度数据中的像素值为
，其中
为图像平面中的坐标；
定义图像
的
阶中心距
为：
其中，M和N为图像的宽度值和高度值。
定义以下的规格化中心距
：
使用规格化的中心距
计算各个零件图像的图像不变矩组：
将以上三组图像不变矩作为模板匹配的形状特征，与零件库中模板图像的不变矩进行匹配，并根据以下公式计算目标零件和模板零件之间矩的相似度匹配值I：
其中，
、
、
为目标零件图像的不变矩；
I为零件图像与零件库中模板图像的相似度参数，I值越小则零件图像与模板图像相似度越高；
选取I值最小的零件作为最优目标零件，并得到该零件所对应的轮廓数据。
210、利用灰度重心法对所述轮廓数据进行处理，获得目标零件的重心坐标。
具体的，上述重心坐标用于指引自动化设备定位目标零件。
示例性地，根据所获得的轮廓数据，按预设的第一重心公式得到目标零件图像的零阶矩和一阶矩；
该第一重心公式可以为：
其中，i和j表示目标零件图像的长度和宽度；
根据上述零阶矩和一阶矩，按第二重心公式得到目标零件的重心坐标
；
该第二重心公式可以为：
实施例三：
本申请实施例提供了一种多层零件的定位设备300，参照图3所示，该设备300包括：
采集模块301，用于采集多层零件的三维图像；
处理模块302，用于根据采集模块301获得的三维图像，获得多层零件的初始点云数据；
识别模块303，用于根据初始点云数据和边缘检测算法，获得目标零件的轮廓数据，该目标零件用于指示位于多层零件最上层的零件；
定位模块304，用于根据初始点云数据，获得目标零件的轮廓数据，该重心坐标用于指引自动化设备定位目标零件。
可选的，上述处理模块302具体用于：
对采集模块301获得的三维图像进行刚体变换，获得变换后的三维图像；
根据变换后的三维图像，获得多层零件的初始点云数据。
可选的，所述识别模块303具体用于：
根据初始点云数据和第一图像降噪算法，获得第一点云数据，该第一点云数据用于指示筛除载物平台后的初始点云数据；
根据第一点云数据和第二图像降噪算法，获得第二点云数据，该第二点云数据用于指示筛除图像噪点后的第一点云数据；
对第二点云数据进行分类，获得与多层零件一一对应的多组点云数据集；
根据多组点云数据集，获得与目标零件对应的目标数据集；
对目标数据集进行灰度化处理，获得目标灰度数据；
根据目标灰度数据和边缘检测算法，获得目标零件的轮廓数据。
可选的，所述定位模块304具体用于：
利用灰度重心法对轮廓数据进行处理，获得目标零件的重心坐标。
实施例四：
本申请实施例提供了一种多层零件的定位系统，参照图4所示，该系统包括
采集装置401，用于采集多层零件的三维图像；
处理装置402，用于根据采集装置401获得的三维图像，获得多层零件的初始点云数据；
识别装置403，用于根据初始点云数据和边缘检测算法，获得目标零件的轮廓数据，该目标零件用于指示位于多层零件最上层的零件；
定位装置404，用于根据初始点云数据，获得目标零件的轮廓数据，该重心坐标用于指引自动化设备定位目标零件。
可选的，上述处理装置402具体用于：
对采集装置401获得的三维图像进行刚体变换，获得变换后的三维图像；
根据变换后的三维图像，获得多层零件的初始点云数据。
可选的，所述识别装置403具体用于：
根据初始点云数据和第一图像降噪算法，获得第一点云数据，该第一点云数据用于指示筛除载物平台后的初始点云数据；
根据第一点云数据和第二图像降噪算法，获得第二点云数据，该第二点云数据用于指示筛除图像噪点后的第一点云数据；
对第二点云数据进行分类，获得与多层零件一一对应的多组点云数据集；
根据多组点云数据集，获得与目标零件对应的目标数据集；
对目标数据集进行灰度化处理，获得目标灰度数据；
根据目标灰度数据和边缘检测算法，获得目标零件的轮廓数据。
可选的，所述定位装置404具体用于：
利用灰度重心法对轮廓数据进行处理，获得目标零件的重心坐标。
实施例五：
本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个预设程序，预设程序被处理器执行时实现实施例一或实施例二的多层零件的定位方法的步骤。
本申请实施例提供了一种疲劳驾驶监测方法、系统、装置和可读存储介质，通过采集多层零件的三维图像；接着根据上述三维图像，获得多层零件的初始点云数据；再根据该初始点云数据，获得目标零件的轮廓数据，该目标零件为所述多层零件中最上层的零件；随后根据上述轮廓数据，获得目标零件的重心坐标，盖重心坐标用于指引自动化设备定位目标零件。
相较于相关技术采集并识别零件的二维图像的方式，本申请通过对零件的三维图像进行采集和识别，不仅能获得零件的长度信息和宽度信息，还能获得零件的高度信息，这能提高自动化设备定位零件的准确度，并使自动化设备工作时的误操作率能相应降低。
在识别并定位目标零件的过程中，通过刚体变换的方式，能让目标零件的三维图像在三维坐标系内有所调整，令使目标零件得以正放于三维坐标系内，这能便利后续的图像识别和图像定位工作，并使目标零件的识别与定位效率得到提升；
至于第一图像降噪算法和第二图像降噪算法的处理，则是为了对初始点云数据中的有序噪点（即载物平台）和无序噪点分别进行过滤，以此来使初始点云数据的过滤效率和过滤效果都获得了提升，并相应提高目标零件的识别效率与定位精度；
而对第二点云数据进行分类，则是为在三维图像中对相互堆叠的零件进行分离，以便后续提取出目标零件所在区域的零件图像，这能使目标零件的识别与定位效率获得提高。
需要说明的是，上述实施例提供的用于多层零件的定位设备和系统在执行多层零件的定位方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备和设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多层零件的定位方法、设备和系统属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (7)
1.一种多层零件的定位方法，其特征在于，所述方法包括：
采集多层零件的三维图像；
根据所述三维图像，获得所述多层零件的初始点云数据；
根据所述初始点云数据，获得目标零件的轮廓数据，所述目标零件为所述多层零件中最上层的零件；
根据所述轮廓数据，获得所述目标零件的重心坐标，所述重心坐标用于指引自动化设备定位所述目标零件；
所述目标零件的轮廓数据获得包括以下：
根据所述初始点云数据和第一图像降噪算法，获得第一点云数据，所述第一点云数据用于指示筛除载物平台后的初始点云数据；
根据所述第一点云数据和第二图像降噪算法，获得第二点云数据，所述第二点云数据用于指示筛除图像噪点后的第一点云数据；
获取三维坐标系原点与目标零件平面公式所对应平面之间的距离，该距离称为初始间距，基于平面对应的间距对所述第二点云数据进行分类，获得多组点云数据集，所述多组点云数据集与多层零件一一对应；
基于平面距离的范围，对所述多组点云数据集进行分类，获得与目标零件对应的目标数据集；
根据所述目标数据集，获得目标零件的轮廓数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述三维图像，获得所述多层零件的初始点云数据包括：
对所述三维图像进行刚体变换，获得变换后的三维图像；
根据所述变换后的三维图像，获得所述多层零件的初始点云数据。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标数据集，获得目标零件的轮廓数据包括：
对所述目标数据集进行灰度化处理，获得目标灰度数据；
根据所述目标灰度数据和边缘检测算法，获得所述目标零件的轮廓数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述轮廓数据，获得所述目标零件的重心坐标包括：
利用灰度重心法对所述轮廓数据进行处理，获得所述目标零件的重心坐标。
5.一种多层零件的定位设备，应用于权利要求1至4任一所述的多层零件的定位方法中，其特征在于，所述设备包括：
采集模块，用于采集多层零件的三维图像；
处理模块，用于根据所述三维图像，获得所述多层零件的初始点云数据；
识别模块，根据所述初始点云数据和边缘检测算法，获得目标零件的轮廓数据，所述目标零件用于指示位于多层零件最上层的零件；
定位模块，根据所述轮廓数据，获得所述目标零件的重心坐标，所述重心坐标用于指引自动化设备定位所述目标零件。
6.一种多层零件的定位系统，应用于权利要求1至4任一所述的多层零件的定位方法中，其特征在于，所述系统包括：
采集装置，用于采集多层零件的三维图像；
处理装置，用于根据所述三维图像，获得所述多层零件的初始点云数据；
识别装置，根据所述初始点云数据和边缘检测算法，获得目标零件的轮廓数据，所述目标零件用于指示位于多层零件最上层的零件；
定位装置，根据所述轮廓数据，获得所述目标零件的重心坐标，所述重心坐标用于指引自动化设备定位所述目标零件。
7.一种计算机可读存储介质，其特征在于，所述可读存储介质存储有计算机程序，所述程序被处理器执行时实现权利要求1-4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010949107.6A CN112102397B (zh) | 2020-09-10 | 2020-09-10 | 一种多层零件的定位方法、设备、系统及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010949107.6A CN112102397B (zh) | 2020-09-10 | 2020-09-10 | 一种多层零件的定位方法、设备、系统及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112102397A CN112102397A (zh) | 2020-12-18 |
| CN112102397B true CN112102397B (zh) | 2021-05-11 |
Family
ID=73751874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010949107.6A Active CN112102397B (zh) | 2020-09-10 | 2020-09-10 | 一种多层零件的定位方法、设备、系统及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102397B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114240960A (zh) * | 2021-11-11 | 2022-03-25 | 三一建筑机器人(西安)研究院有限公司 | 最上层工件的提取方法、装置、设备、介质及产品 |
| CN117710396B (zh) * | 2023-12-14 | 2024-06-14 | 安徽工布智造工业科技有限公司 | 一种基于3d点云的轻钢行业非标零件的识别方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507167A (zh) * | 2017-07-25 | 2017-12-22 | 上海交通大学 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
| CN108340593A (zh) * | 2017-01-23 | 2018-07-31 | 波音公司 | 用于形成复合零件的系统和方法 |
| CN109448034A (zh) * | 2018-10-24 | 2019-03-08 | 华侨大学 | 一种基于几何基元的零件位姿获取方法 |
| CN109872397A (zh) * | 2019-02-18 | 2019-06-11 | 北京工业大学 | 一种基于多目立体视觉的飞机零件的三维重建方法 |
| CN111191582A (zh) * | 2019-12-27 | 2020-05-22 | 深圳市越疆科技有限公司 | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 |
| CN111476841A (zh) * | 2020-03-04 | 2020-07-31 | 哈尔滨工业大学 | 一种基于点云和图像的识别定位方法及系统 |
| JP6747665B2 (ja) * | 2016-06-07 | 2020-08-26 | トヨタ自動車株式会社 | ロボット |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106373118B (zh) * | 2016-08-30 | 2017-09-22 | 华中科技大学 | 可有效保留边界和局部特征的复杂曲面零件点云精简方法 |
| CN110033447B (zh) * | 2019-04-12 | 2022-11-08 | 东北大学 | 一种基于点云方法的高铁重轨表面缺陷检测方法 |
| CN111145236B (zh) * | 2019-12-04 | 2022-10-18 | 东南大学 | 一种基于数字孪生的产品拟实物装配模型生成方法及实现框架 |
| CN111251295B (zh) * | 2020-01-16 | 2021-05-14 | 清华大学深圳国际研究生院 | 一种应用于参数化零件的视觉机械臂抓取方法及装置 |
-
2020
- 2020-09-10 CN CN202010949107.6A patent/CN112102397B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6747665B2 (ja) * | 2016-06-07 | 2020-08-26 | トヨタ自動車株式会社 | ロボット |
| CN108340593A (zh) * | 2017-01-23 | 2018-07-31 | 波音公司 | 用于形成复合零件的系统和方法 |
| CN107507167A (zh) * | 2017-07-25 | 2017-12-22 | 上海交通大学 | 一种基于点云平面轮廓匹配的货物托盘检测方法及系统 |
| CN109448034A (zh) * | 2018-10-24 | 2019-03-08 | 华侨大学 | 一种基于几何基元的零件位姿获取方法 |
| CN109872397A (zh) * | 2019-02-18 | 2019-06-11 | 北京工业大学 | 一种基于多目立体视觉的飞机零件的三维重建方法 |
| CN111191582A (zh) * | 2019-12-27 | 2020-05-22 | 深圳市越疆科技有限公司 | 三维目标检测方法、检测装置、终端设备及计算机可读存储介质 |
| CN111476841A (zh) * | 2020-03-04 | 2020-07-31 | 哈尔滨工业大学 | 一种基于点云和图像的识别定位方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 《Simplification of locomotive running gear three-dimensional point cloud based on non-uniform division》;J. Lan等;《Opto-Electronic Engineering》;20190228;第46卷(第2期);第1-9页 * |
| 《面向散乱零件机器人抓取作业的立体图像处理与匹配技术》;刘磊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315(第03期);第I138-1175页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112102397A (zh) | 2020-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5677798B2 (ja) | ３次元シーンにおける３次元物体の認識及び位置姿勢決定方法 | |
| EP2720171B1 (en) | Recognition and pose determination of 3D objects in multimodal scenes | |
| US10430951B2 (en) | Method and device for straight line detection and image processing | |
| JP5705147B2 (ja) | 記述子を用いて３ｄオブジェクトまたはオブジェクトを表す方法 | |
| CN113128610B (zh) | 一种工业零件位姿估计方法及系统 | |
| JP6245880B2 (ja) | 情報処理装置および情報処理手法、プログラム | |
| CN111723721A (zh) | 基于rgb-d的三维目标检测方法、系统及装置 | |
| CN110942515A (zh) | 基于点云的目标物体三维计算机建模方法和目标识别方法 | |
| CN112102397B (zh) | 一种多层零件的定位方法、设备、系统及可读存储介质 | |
| Sansoni et al. | Optoranger: A 3D pattern matching method for bin picking applications | |
| US20210350165A1 (en) | Methods and apparatus for generating point cloud histograms | |
| US12039747B1 (en) | Polarity discrimination detection method and apparatus for multiple stacked electronic components and device | |
| CN113252103A (zh) | 一种基于matlab图像识别技术计算物料堆体积及质量的方法 | |
| Li et al. | Vision-based target detection and positioning approach for underwater robots | |
| Sølund et al. | A large-scale 3D object recognition dataset | |
| CN116921932A (zh) | 焊接轨迹识别方法、装置、设备及存储介质 | |
| TW201601119A (zh) | 物件辨識與定位方法 | |
| CN116934734A (zh) | 基于图像的零件缺陷多路并行检测方法、装置及相关介质 | |
| CN117152417A (zh) | 芯片管壳的缺陷检测方法、存储介质及检测设备 | |
| CN110728222B (zh) | 一种用于机械臂抓取系统中目标物体的位姿估计方法 | |
| CN111598901A (zh) | 基于深度图像的牙科修复制品的加工进度的估算方法 | |
| CN116783619B (zh) | 用于生成点云直方图的方法和装置 | |
| WO2023140266A1 (ja) | ピッキング装置及び画像生成プログラム | |
| CN115922738B (zh) | 堆叠场景下的电子元器件抓取方法、装置、设备及介质 | |
| RU2778906C1 (ru) | Способ автоматического распознавания сцен и объектов на изображении |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |