CN112102397A - 一种多层零件的定位方法、设备、系统及可读存储介质 - Google Patents

一种多层零件的定位方法、设备、系统及可读存储介质 Download PDF

Info

Publication number
CN112102397A
CN112102397A CN202010949107.6A CN202010949107A CN112102397A CN 112102397 A CN112102397 A CN 112102397A CN 202010949107 A CN202010949107 A CN 202010949107A CN 112102397 A CN112102397 A CN 112102397A
Authority
CN
China
Prior art keywords
point cloud
cloud data
data
obtaining
target part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010949107.6A
Other languages
English (en)
Other versions
CN112102397B (zh
Inventor
陈辉
高会军
林伟阳
孙敬颋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jing Ke Shenzhen Robot Technology Co ltd
Original Assignee
Jing Ke Shenzhen Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jing Ke Shenzhen Robot Technology Co ltd filed Critical Jing Ke Shenzhen Robot Technology Co ltd
Priority to CN202010949107.6A priority Critical patent/CN112102397B/zh
Publication of CN112102397A publication Critical patent/CN112102397A/zh
Application granted granted Critical
Publication of CN112102397B publication Critical patent/CN112102397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请涉及图像识别的技术领域,尤其是涉及一种多层零件的定位方法、设备、系统及可读存储介质,其方法包括:采集多层零件的三维图像;根据所述三维图像,获得所述多层零件的初始点云数据;根据所述初始点云数据,获得目标零件的轮廓数据,所述目标零件为所述多层零件中最上层的零件;根据所述轮廓数据,获得所述目标零件的重心坐标,所述重心坐标用于指引自动化设备定位所述目标零件。其优点在于适用性强、识别速度快以及定位精度高。

Description

一种多层零件的定位方法、设备、系统及可读存储介质
技术领域
本申请涉及图像识别的技术领域,尤其是涉及一种多层零件的定位方法、设备、系统及可读存储介质。
背景技术
随着自动化技术的发展,在工业生产流水线中,放置于载物平台上的各类零件,多是通过自动化设备来完成检测、识别、分拣、抓取与回收等工作。
为确保自动化设备的正常运行,相关技术一般是通过采集并分析目标零件的二维图像,来辅助自动化设备对目标零件进行识别与定位;
但是由于相关技术对二维图像的识别与定位精度低,所以使得在使用相关技术时,自动化设备无法精准获取目标零件的坐标信息,故而导致自动化设备工作时的误操作率较高。
发明内容
针对相关技术存在的不足,本申请的目的是提供一种多层零件的定位方法、设备、系统及可读存储介质,其方法能通过获得目标零件的重心坐标的方式,来辅助自动化设备对目标零件进行精准定位,并相应降低自动化设备工作时的误操作率。
本申请的上述发明目的是通过以下技术方案得以实现的:
第一方面,本申请实施例提供了一种多层零件的定位方法,该方法包括:
采集多层零件的三维图像;
根据所述三维图像,获得所述多层零件的初始点云数据;
根据所述初始点云数据,获得目标零件的轮廓数据,所述目标零件为所述多层零件中最上层的零件;
根据所述轮廓数据,获得所述目标零件的重心坐标,所述重心坐标用于指引自动化设备定位所述目标零件。
相较于相关技术采集并识别目标零件的二维图像的方式,本申请通过获得目标零件的重心坐标的方式,不仅能获取到目标零件的长度信息和宽度信息,还能获取到目标零件的高度信息,故而能实现对目标零件的三维图像的识别与定位,因此自动化设备定位目标零件的准确度能获得提升,这使得自动化设备工作时的误操作率会相应降低。
可选的,所述根据所述三维图像,获得所述多层零件的初始点云数据包括:
对所述三维图像进行刚体变换,获得变换后的三维图像;
根据所述变换后的三维图像,获得所述多层零件的初始点云数据。
可选的,所述根据所述初始点云数据,获得目标零件的轮廓数据包括:
根据所述初始点云数据和第一图像降噪算法,获得第一点云数据,所述第一点云数据用于指示筛除载物平台后的初始点云数据;
根据所述第一点云数据,获得目标零件的轮廓数据。
可选的,所述根据所述第一点云数据,获得目标零件的轮廓数据包括:
根据所述第一点云数据和第二图像降噪算法,获得第二点云数据,所述第二点云数据用于指示筛除图像噪点后的第一点云数据;
根据所述第二点云数据,获得目标零件的轮廓数据。
可选的,所述根据所述第二点云数据,获得目标零件的轮廓数据包括:
对所述第二点云数据进行分类,获得多组点云数据集,所述多组点云数据集与多层零件一一对应;
根据所述多组点云数据集,获得与目标零件对应的目标数据集;
根据所述目标数据集,获得目标零件的轮廓数据。
可选的,所述根据所述目标数据集,获得目标零件的轮廓数据包括:
对所述目标数据集进行灰度化处理,获得目标灰度数据;
根据所述目标灰度数据和边缘检测算法,获得所述目标零件的轮廓数据。
可选的,所述根据所述轮廓数据,获得所述目标零件的重心坐标包括:
利用灰度重心法对所述轮廓数据进行处理,获得所述目标零件的重心坐标。
第二方面,一种多层零件的定位设备,该设备包括:
采集模块,用于采集多层零件的三维图像;
处理模块,用于根据所述三维图像,获得所述多层零件的初始点云数据;
识别模块,根据所述初始点云数据和边缘检测算法,获得目标零件的轮廓数据,所述目标零件用于指示位于多层零件最上层的零件;
定位模块,根据所述轮廓数据,获得所述目标零件的重心坐标,所述重心坐标用于指引自动化设备定位所述目标零件。
第三方面,一种多层零件的定位系统,该系统包括:
采集装置,用于采集多层零件的三维图像;
处理装置,用于根据所述三维图像,获得所述多层零件的初始点云数据;
识别装置,根据所述初始点云数据和边缘检测算法,获得目标零件的轮廓数据,所述目标零件用于指示位于多层零件最上层的零件;
定位装置,根据所述轮廓数据,获得所述目标零件的重心坐标,所述重心坐标用于指引自动化设备定位所述目标零件。
第四方面,一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序包括程序指令,该程序指令被处理器执行时实现如上述第一方面所述的多层零件的定位方法。
本申请提供了一种多层零件的定位方法、设备、系统及可读存储介质,其包括:采集多层零件的三维图像;根据所述三维图像,获得所述多层零件的初始点云数据;根据所述初始点云数据,获得目标零件的轮廓数据,所述目标零件为所述多层零件中最上层的零件;根据所述轮廓数据,获得所述目标零件的重心坐标,所述重心坐标用于指引自动化设备定位所述目标零件。
本申请所提供技术方案达到的有益效果是:通过获得所述目标零件的重心坐标的方式,对目标零件的长度信息、宽度信息和高度信息进行获取,以实现实现对目标零件的三维图像的识别与定位,使自动化设备定位目标零件的准确度获得提升,并让自动化设备工作时的误操作率相应降低。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种多层零件的定位方法流程图;
图2是本申请实施例二提供的一种多层零件的定位方法流程图;
图3是本申请实施例三提供的一种多层零件的定位装置的结构示意图;
图4是本申请实施例四提供的一种多层零件的定位系统的结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
实施例一:
参照图1,为本申请公开的一种多层零件的定位方法,具体包括如下步骤:
101、采集多层零件的三维图像。
102、根据三维图像,获得多层零件的初始点云数据。
具体的,对三维图像进行刚体变换,获得变换后的三维图像;
根据变换后的三维图像,获得多层零件的初始点云数据。
103、根据初始点云数据,获得目标零件的轮廓数据。
具体的,目标零件为多层零件中最上层的零件;步骤103的执行过程可以为:
根据初始点云数据和第一图像降噪算法,获得第一点云数据,该第一点云数据用于指示筛除载物平台后的初始点云数据;
根据第一点云数据,获得目标零件的轮廓数据,该过程可以为:
根据第一点云数据和第二图像降噪算法,获得第二点云数据,该第二点云数据用于指示筛除图像噪点后的第一点云数据;
根据第二点云数据,获得目标零件的轮廓数据,该过程可以为:
对第二点云数据进行分类,获得与多层零件一一对应的多组点云数据集,
根据多组点云数据集,获得与目标零件对应的目标数据集,
根据目标数据集,获得目标零件的轮廓数据,该过程可以为:
对目标数据集进行灰度化处理,获得目标灰度数据;
根据目标灰度数据和边缘检测算法,获得目标零件的轮廓数据。
104、根据轮廓数据,获得目标零件的重心坐标。
具体的,上述重心坐标用于指引自动化设备定位目标零件,步骤104所述的过程可以为:
利用灰度重心法对所述轮廓数据进行处理,获得所述目标零件的重心坐标。
实施例二:
本申请实施例提供了一种多层零件的定位方法,参照图2所示,该方法包括:
201、采集多层零件的三维图像。
具体的,三维图像包括多层零件的深度图像数据和多层零件的RGB图像数据。
在实际应用中,用于采集多层零件的三维图像的可以是三维面阵相机,也可以是具备三维数据采集功能和色彩采集功能的拍摄设备,本申请实施例对具体的用于采集三维图像的设备不加以限定。
在相关技术中,多层零件的二维图像采集工作一般是通过线阵相机来完成,由于线阵相机在采集二维图像时,需要配以光栅等器件作扫描运动,所以使得图像采集工作易受环境光源等的干扰,这导致最终采集的二维图像的成像效果较差;并且因为线阵相机需进行扫描运动,所以也使得二维图像的采集效率较低。
而在本申请中,以三维面阵相机为例,在采集多层零件的三维图像时,无需进行扫描运动,便可获得包括有多层零件的深度图像数据和多层零件的RGB图像数据的三维图像,相较于线阵相机扫描式的采集方法,三维面阵相机的采集效率更高;同时还因为三维面阵相机拍摄时无需外置光栅等光源,所以受环境光源干扰较小,故而通过三维面阵相机拍摄得到的三维图像的成像效果较好。
因为本申请中所提及方法中,三维图像的采集速率快,采集精度高,所以本申请在对所采集三维图像进行处理时,所获得的用于定位目标零件的坐标信息也更加准确,这能提升自动化设备对目标零件的定位精度,并相应降低自动化设备工作时的误操作率。
202、对三维图像进行刚体变换,获得变换后的三维图像。
具体的,根据多层零件的深度图像数据和多层零件的RGB图像数据,构建三维坐标系,并在该三维坐标系内生成多层零件的RGB坐标数据;
根据上述RGB坐标数据,通过刚体变换算法,获得原始点云数据,该原始点云数据用于描述多层零件。
通过刚体变换算法的方式,对多层零件在三维坐标系内的位置进行调整,使多层零件得以正放于三维坐标系内;这不仅能降低三维面阵相机在采集三维图像的过程中,因拍摄角度和拍摄距离所导致的采集误差,还能便利后续对目标零件的识别与定位工作,令自动化设备对目标零件的定位效率获得提升。
需要说明的是,刚体变换算法可以是ARAP变形算法(As-Rigid-As-Possible),也可以是其他任意具备刚体变换功能的算法,本申请实施例对具体的刚体变换算法并不加以限定。
203、根据变换后的三维图像,获得多层零件的初始点云数据。
具体的,通过体素网格滤波算法对上述原始点云数据进行过滤,获得初始点云数据。
204、根据第一图像降噪算法和初始点云数据,获得第一点云数据。
具体的,第一点云数据用于指示筛除载物平台后的初始点云数据,步骤204的执行过程可以为:
2041、根据随机采样一致性算法,从初始点云数据中随机获得三个不共线的采样点的采样坐标;
2042、根据步骤2041所获得的三个采样坐标,获得平面公式,该平面公式用于指示三个采样点所共同构成的采样平面;若某点的三维坐标满足该平面公式,则该点位于采样平面内;
2043、将初始点云数据代入步骤2042所获得的平面公式内,获得平面点数,该平面点数用于指示初始点云数据中,落入上述采样平面内的点的个数;
2044、记录步骤2043所获得的平面点数,并判断步骤2041的重复执行次数是否达到重复阈值,若是,则执行步骤2045;否则,则重新执行步骤2041-步骤2043;
2045、在步骤2044所获得的多个平面点数中,找寻平面点数数值大于或等于判定阈值的平面点数,并将该平面点数所对应的采样平面内的所有点从初始点云数据中筛除,将经过上述筛除处理后的初始点云数据称为第一点云数据。
其中,判定阈值是用于界定采样平面是否为载物平台所在平面的参数,若采样平面所对应的平面点数小于判定阈值,那么该采样平面将不会被判定为载物平台;若采样平面所对应的平面点数大于或等于判定阈值,那么该采样平面将会被判定为载物平台。
示例性地,通过随机采样一致性算法,从初始点云数据中选取三个不共线的采样点
Figure 567883DEST_PATH_IMAGE001
Figure 140815DEST_PATH_IMAGE002
Figure 717290DEST_PATH_IMAGE003
根据上述三个采样点,构建采样平面(即上述三个采样点所共同构成的平面)的方程组:
Figure 846920DEST_PATH_IMAGE004
解上述方程组得到采样平面的平面公式为
Figure 67817DEST_PATH_IMAGE005
将初始点云数据带入上述平面公式内,若某点的三维坐标满足该平面公式,则将该点判定成位于采样平面内的一个点;若某点的三维坐标不满足该平面公式,则将该点判定成位于采样平面外的一个点;
待初始点云数据均代入上述平面公式并完成判定以后,统计采样平面内的点的个数,并将该个数称为此次随机采样的平面点数P;
重复上述过程直至随机采样的次数达到重复阈值T;
待随机采样的次数达到重复阈值T以后,将判定阈值Q与所获得的多个平面点数P逐一进行比较,找出满足P≥Q的条件的平面点数P,并将该平面点数P所对应的采样平面内的所有点从初始点云数据中筛除,把经过筛除后的初始点云数据称为第一点云数据。
205、根据第二图像降噪算法和第一点云数据,获得第二点云数据。
具体的,第二点云数据用于指示筛除图像噪点后的第一点云数据;步骤205的执行过程可以为:
2051、从第一点云数据中随机选择一个邻域U,并给定某一点云,在其领域U内,求该点全部点云的之间的平均距离的均值和方差;
均值:
Figure 687017DEST_PATH_IMAGE006
方差:
Figure 688471DEST_PATH_IMAGE007
其中,k表示U领域内点云的个数;
2052、通过给定的阈值T,获得该领域U所对应的点云坐标:
Figure 543164DEST_PATH_IMAGE008
其中,T的大小取决于领域内点的数目,符合条件的点云数据被保留,否则被删除;
2053、重复步骤2051-步骤2052,直至第一点云数据中的所有数据均完成过滤。
三维图像中除了多层零件的图像以外,还存在有环境图像和载物平台图像,当三维图像转化为初始点云数据后,环境图像和载物平台图像也会一并随之转化进初始点云数据中,若不对初始点云数据进行筛分处理,则会导致后续对目标零件所进行的识别与定位工作受到干扰,这将使得目标零件的定位精度降低;
为避免上述情况的出现,使目标零件的定位精度尽可能提高,便需要对初始点云数据内的数据进行过滤,这其中,由于载物平台图像所转化为的初始点云数据呈连续排布,而由环境图像所转化的初始点云数据呈无序分布,所以需要先通过第一图像降噪算法的方式,把载物平台所对应的数据从初始点云数据中筛除,再通过第二图像降噪算法的方式,把环境噪点所对应的数据从第一点云数据中筛除。
通过上述的双重过滤方法,不仅能使初始点云数据的筛分效率获得提升,还能令初始点云数据的筛分效果得到提高,这使得目标零件的定位效率与定位精度将获得提升。
需要说明的是,该第二图像降噪算法可以是统计滤波算法,也可以是其他具备图像降噪功能的算法,本申请实施例对具体的降噪算法并不加以限定。
206、对第二点云数据进行分类,获得与多层零件一一对应的多组点云数据集。
具体的,上述目标零件为多层零件中最上层的零件,步骤206的执行过程可以为:
根据所获得的平面公式,得到三维坐标系原点与该平面公式所对应平面之间的距离,将该距离称为初始间距;
根据预先设定的单个零件的零件高度和上述初始间距,对所获得的第二点云数据进行分类,并得到多组点云数据集。
现假定根据上述方法所求得的初始间距为n,且预先设定的单个零件的零件高度为d,则第一层零件点云在相机z轴方向的距离范围为
Figure 8780DEST_PATH_IMAGE009
,第二层的距离范围为
Figure 736565DEST_PATH_IMAGE010
,后续依此类推,若多层零件最高为k层,则第k层零件的距离范围为
Figure 897419DEST_PATH_IMAGE011
,其中k为正整数且不小于2;至于第一层零件则为多层零件中与载物平台抵接的最底层零件。
根据上述的多个距离范围,对所获得的第二点云数据进行分类,分别得到与每一层距离范围所对应的点云数据集。
207、根据多组点云数据集,获得与目标零件对应的目标数据集。
示例性地,因为点(0,0,Z)位于平面公式
Figure 431168DEST_PATH_IMAGE005
所对应的平面内,所以可以求得
Figure 688974DEST_PATH_IMAGE012
当C值不为0时,则初始间距为
Figure 786330DEST_PATH_IMAGE013
当C值为0时,则初始间距为0;
从分类得到的多组点云数据集内,获得与第k层的距离范围所对应的点云数据集,该点云数据集即为与目标零件对应的目标数据集。
相关技术在辅助自动化设备对零件进行定位时,由于二维图像的限制,所以使得相关技术仅能辅助自动化设备完成单层零件的定位工作;但在实际生产环境中,零件堆叠的情况时有发生,这会对相关技术的识别与定位工作造成严重干扰;
而本申请通过对零件的三维图像进行分类,能让位于下层的零件图像和位于上层的零件图像相互分离,这使得后续在对三维图像作进一步识别与定位时,可以仅对上层的零件图像进行处理,这不仅能降低零件图像的数据处理量,提高对零件图像的识别与定位效率,还能使零件图像的识别与定位精度获得提高。
208、对目标数据集进行灰度化处理,获得目标灰度数据。
具体的,通过反向投影算法将步骤207所获得的目标数据集转为二维图像数据;
通过平均值法对上述二维图像数据作灰度化处理,得到目标灰度数据。
相较于直接用投影的方式将三维图像数据转为二维图像数据,采用反向投影算法把三维图像数据转为二维图像数据的方式,其能避免二维图像数据成像过于密集的情况发生,这使得转换后的二维图像数据无需再行过滤,因此目标零件的识别与定位流程将会得到简化,故而目标零件的识别与定位效率将会获得提升。
209、根据目标灰度数据和边缘检测算法,获得目标零件的轮廓数据。
具体的,根据Canny算法和所获得的目标灰度数据,获得目标零件的轮廓数据。
示例性地,假定目标灰度数据中的像素值为
Figure 824693DEST_PATH_IMAGE014
,其中
Figure 834237DEST_PATH_IMAGE015
为图像平面中的坐标;
定义图像
Figure 149812DEST_PATH_IMAGE014
Figure 16137DEST_PATH_IMAGE016
阶中心距
Figure 479479DEST_PATH_IMAGE017
为:
Figure 214086DEST_PATH_IMAGE018
其中,M和N为图像的宽度值和高度值。
定义以下的规格化中心距
Figure 508801DEST_PATH_IMAGE019
Figure 14869DEST_PATH_IMAGE020
使用规格化的中心距
Figure 637611DEST_PATH_IMAGE019
计算各个零件图像的图像不变矩组:
Figure 51275DEST_PATH_IMAGE021
将以上三组图像不变矩作为模板匹配的形状特征,与零件库中模板图像的不变矩进行匹配,并根据以下公式计算目标零件和模板零件之间矩的相似度匹配值I:
Figure 138179DEST_PATH_IMAGE022
其中,
Figure 2099DEST_PATH_IMAGE023
Figure 174455DEST_PATH_IMAGE024
Figure 126230DEST_PATH_IMAGE025
为目标零件图像的不变矩;
Figure 270904DEST_PATH_IMAGE026
Figure 118774DEST_PATH_IMAGE027
Figure 840742DEST_PATH_IMAGE028
为模板图像的不变矩;
I为零件图像与零件库中模板图像的相似度参数,I值越小则零件图像与模板图像相似度越高;
选取I值最小的零件作为最优目标零件,并得到该零件所对应的轮廓数据。
210、利用灰度重心法对所述轮廓数据进行处理,获得目标零件的重心坐标。
具体的,上述重心坐标用于指引自动化设备定位目标零件。
示例性地,根据所获得的轮廓数据,按预设的第一重心公式得到目标零件图像的零阶矩和一阶矩;
该第一重心公式可以为:
Figure 799471DEST_PATH_IMAGE029
其中,i和j表示目标零件图像的长度和宽度;
Figure 782339DEST_PATH_IMAGE030
表示零件图像在位置
Figure 801111DEST_PATH_IMAGE031
处的灰度值;
Figure 10375DEST_PATH_IMAGE032
表示目标零件图像的零阶矩;
Figure 772795DEST_PATH_IMAGE033
Figure 626481DEST_PATH_IMAGE034
表示目标零件图像的一阶矩;
根据上述零阶矩和一阶矩,按第二重心公式得到目标零件的重心坐标
Figure 550575DEST_PATH_IMAGE035
该第二重心公式可以为:
Figure 247136DEST_PATH_IMAGE036
实施例三:
本申请实施例提供了一种多层零件的定位设备300,参照图3所示,该设备300包括:
采集模块301,用于采集多层零件的三维图像;
处理模块302,用于根据采集模块301获得的三维图像,获得多层零件的初始点云数据;
识别模块303,用于根据初始点云数据和边缘检测算法,获得目标零件的轮廓数据,该目标零件用于指示位于多层零件最上层的零件;
定位模块304,用于根据初始点云数据,获得目标零件的轮廓数据,该重心坐标用于指引自动化设备定位目标零件。
可选的,上述处理模块302具体用于:
对采集模块301获得的三维图像进行刚体变换,获得变换后的三维图像;
根据变换后的三维图像,获得多层零件的初始点云数据。
可选的,所述识别模块303具体用于:
根据初始点云数据和第一图像降噪算法,获得第一点云数据,该第一点云数据用于指示筛除载物平台后的初始点云数据;
根据第一点云数据和第二图像降噪算法,获得第二点云数据,该第二点云数据用于指示筛除图像噪点后的第一点云数据;
对第二点云数据进行分类,获得与多层零件一一对应的多组点云数据集;
根据多组点云数据集,获得与目标零件对应的目标数据集;
对目标数据集进行灰度化处理,获得目标灰度数据;
根据目标灰度数据和边缘检测算法,获得目标零件的轮廓数据。
可选的,所述定位模块304具体用于:
利用灰度重心法对轮廓数据进行处理,获得目标零件的重心坐标。
实施例四:
本申请实施例提供了一种多层零件的定位系统,参照图4所示,该系统包括
采集装置401,用于采集多层零件的三维图像;
处理装置402,用于根据采集装置401获得的三维图像,获得多层零件的初始点云数据;
识别装置403,用于根据初始点云数据和边缘检测算法,获得目标零件的轮廓数据,该目标零件用于指示位于多层零件最上层的零件;
定位装置404,用于根据初始点云数据,获得目标零件的轮廓数据,该重心坐标用于指引自动化设备定位目标零件。
可选的,上述处理装置402具体用于:
对采集装置401获得的三维图像进行刚体变换,获得变换后的三维图像;
根据变换后的三维图像,获得多层零件的初始点云数据。
可选的,所述识别装置403具体用于:
根据初始点云数据和第一图像降噪算法,获得第一点云数据,该第一点云数据用于指示筛除载物平台后的初始点云数据;
根据第一点云数据和第二图像降噪算法,获得第二点云数据,该第二点云数据用于指示筛除图像噪点后的第一点云数据;
对第二点云数据进行分类,获得与多层零件一一对应的多组点云数据集;
根据多组点云数据集,获得与目标零件对应的目标数据集;
对目标数据集进行灰度化处理,获得目标灰度数据;
根据目标灰度数据和边缘检测算法,获得目标零件的轮廓数据。
可选的,所述定位装置404具体用于:
利用灰度重心法对轮廓数据进行处理,获得目标零件的重心坐标。
实施例五:
本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个预设程序,预设程序被处理器执行时实现实施例一或实施例二的多层零件的定位方法的步骤。
本申请实施例提供了一种疲劳驾驶监测方法、系统、装置和可读存储介质,通过采集多层零件的三维图像;接着根据上述三维图像,获得多层零件的初始点云数据;再根据该初始点云数据,获得目标零件的轮廓数据,该目标零件为所述多层零件中最上层的零件;随后根据上述轮廓数据,获得目标零件的重心坐标,盖重心坐标用于指引自动化设备定位目标零件。
相较于相关技术采集并识别零件的二维图像的方式,本申请通过对零件的三维图像进行采集和识别,不仅能获得零件的长度信息和宽度信息,还能获得零件的高度信息,这能提高自动化设备定位零件的准确度,并使自动化设备工作时的误操作率能相应降低。
在识别并定位目标零件的过程中,通过刚体变换的方式,能让目标零件的三维图像在三维坐标系内有所调整,令使目标零件得以正放于三维坐标系内,这能便利后续的图像识别和图像定位工作,并使目标零件的识别与定位效率得到提升;
至于第一图像降噪算法和第二图像降噪算法的处理,则是为了对初始点云数据中的有序噪点(即载物平台)和无序噪点分别进行过滤,以此来使初始点云数据的过滤效率和过滤效果都获得了提升,并相应提高目标零件的识别效率与定位精度;
而对第二点云数据进行分类,则是为在三维图像中对相互堆叠的零件进行分离,以便后续提取出目标零件所在区域的零件图像,这能使目标零件的识别与定位效率获得提高。
需要说明的是,上述实施例提供的用于多层零件的定位设备和系统在执行多层零件的定位方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备和设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的多层零件的定位方法、设备和系统属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种多层零件的定位方法,其特征在于,所述方法包括:
采集多层零件的三维图像;
根据所述三维图像,获得所述多层零件的初始点云数据;
根据所述初始点云数据,获得目标零件的轮廓数据,所述目标零件为所述多层零件中最上层的零件;
根据所述轮廓数据,获得所述目标零件的重心坐标,所述重心坐标用于指引自动化设备定位所述目标零件。
2.根据权利要求1所述的方法,其特征在于,所述根据所述三维图像,获得所述多层零件的初始点云数据包括:
对所述三维图像进行刚体变换,获得变换后的三维图像;
根据所述变换后的三维图像,获得所述多层零件的初始点云数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述初始点云数据,获得目标零件的轮廓数据包括:
根据所述初始点云数据和第一图像降噪算法,获得第一点云数据,所述第一点云数据用于指示筛除载物平台后的初始点云数据;
根据所述第一点云数据,获得目标零件的轮廓数据。
4.根据权利要求3所述的方法,其特征在于,所述根据所述第一点云数据,获得目标零件的轮廓数据包括:
根据所述第一点云数据和第二图像降噪算法,获得第二点云数据,所述第二点云数据用于指示筛除图像噪点后的第一点云数据;
根据所述第二点云数据,获得目标零件的轮廓数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述第二点云数据,获得目标零件的轮廓数据包括:
对所述第二点云数据进行分类,获得多组点云数据集,所述多组点云数据集与多层零件一一对应;
根据所述多组点云数据集,获得与目标零件对应的目标数据集;
根据所述目标数据集,获得目标零件的轮廓数据。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标数据集,获得目标零件的轮廓数据包括:
对所述目标数据集进行灰度化处理,获得目标灰度数据;
根据所述目标灰度数据和边缘检测算法,获得所述目标零件的轮廓数据。
7.根据权利要求1所述的方法,其特征在于,所述根据所述轮廓数据,获得所述目标零件的重心坐标包括:
利用灰度重心法对所述轮廓数据进行处理,获得所述目标零件的重心坐标。
8.一种多层零件的定位设备,其特征在于,所述设备包括:
采集模块,用于采集多层零件的三维图像;
处理模块,用于根据所述三维图像,获得所述多层零件的初始点云数据;
识别模块,根据所述初始点云数据和边缘检测算法,获得目标零件的轮廓数据,所述目标零件用于指示位于多层零件最上层的零件;
定位模块,根据所述轮廓数据,获得所述目标零件的重心坐标,所述重心坐标用于指引自动化设备定位所述目标零件。
9.一种多层零件的定位系统,其特征在于,所述系统包括:
采集装置,用于采集多层零件的三维图像;
处理装置,用于根据所述三维图像,获得所述多层零件的初始点云数据;
识别装置,根据所述初始点云数据和边缘检测算法,获得目标零件的轮廓数据,所述目标零件用于指示位于多层零件最上层的零件;
定位装置,根据所述轮廓数据,获得所述目标零件的重心坐标,所述重心坐标用于指引自动化设备定位所述目标零件。
10.一种计算机可读存储介质,其特征在于,所述可读存储介质存储有计算机程序,所述程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。
CN202010949107.6A 2020-09-10 2020-09-10 一种多层零件的定位方法、设备、系统及可读存储介质 Active CN112102397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010949107.6A CN112102397B (zh) 2020-09-10 2020-09-10 一种多层零件的定位方法、设备、系统及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010949107.6A CN112102397B (zh) 2020-09-10 2020-09-10 一种多层零件的定位方法、设备、系统及可读存储介质

Publications (2)

Publication Number Publication Date
CN112102397A true CN112102397A (zh) 2020-12-18
CN112102397B CN112102397B (zh) 2021-05-11

Family

ID=73751874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010949107.6A Active CN112102397B (zh) 2020-09-10 2020-09-10 一种多层零件的定位方法、设备、系统及可读存储介质

Country Status (1)

Country Link
CN (1) CN112102397B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710396A (zh) * 2023-12-14 2024-03-15 安徽工布智造工业科技有限公司 一种基于3d点云的轻钢行业非标零件的识别方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106373118A (zh) * 2016-08-30 2017-02-01 华中科技大学 可有效保留边界和局部特征的复杂曲面零件点云精简方法
CN107507167A (zh) * 2017-07-25 2017-12-22 上海交通大学 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
CN108340593A (zh) * 2017-01-23 2018-07-31 波音公司 用于形成复合零件的系统和方法
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN109872397A (zh) * 2019-02-18 2019-06-11 北京工业大学 一种基于多目立体视觉的飞机零件的三维重建方法
CN110033447A (zh) * 2019-04-12 2019-07-19 东北大学 一种基于点云方法的高铁重轨表面缺陷检测方法
CN111145236A (zh) * 2019-12-04 2020-05-12 东南大学 一种基于数字孪生的产品拟实物装配模型生成方法及实现框架
CN111191582A (zh) * 2019-12-27 2020-05-22 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111251295A (zh) * 2020-01-16 2020-06-09 清华大学深圳国际研究生院 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN111476841A (zh) * 2020-03-04 2020-07-31 哈尔滨工业大学 一种基于点云和图像的识别定位方法及系统
JP6747665B2 (ja) * 2016-06-07 2020-08-26 トヨタ自動車株式会社 ロボット

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6747665B2 (ja) * 2016-06-07 2020-08-26 トヨタ自動車株式会社 ロボット
CN106373118A (zh) * 2016-08-30 2017-02-01 华中科技大学 可有效保留边界和局部特征的复杂曲面零件点云精简方法
CN108340593A (zh) * 2017-01-23 2018-07-31 波音公司 用于形成复合零件的系统和方法
CN107507167A (zh) * 2017-07-25 2017-12-22 上海交通大学 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN109872397A (zh) * 2019-02-18 2019-06-11 北京工业大学 一种基于多目立体视觉的飞机零件的三维重建方法
CN110033447A (zh) * 2019-04-12 2019-07-19 东北大学 一种基于点云方法的高铁重轨表面缺陷检测方法
CN111145236A (zh) * 2019-12-04 2020-05-12 东南大学 一种基于数字孪生的产品拟实物装配模型生成方法及实现框架
CN111191582A (zh) * 2019-12-27 2020-05-22 深圳市越疆科技有限公司 三维目标检测方法、检测装置、终端设备及计算机可读存储介质
CN111251295A (zh) * 2020-01-16 2020-06-09 清华大学深圳国际研究生院 一种应用于参数化零件的视觉机械臂抓取方法及装置
CN111476841A (zh) * 2020-03-04 2020-07-31 哈尔滨工业大学 一种基于点云和图像的识别定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J. LAN等: "《Simplification of locomotive running gear three-dimensional point cloud based on non-uniform division》", 《OPTO-ELECTRONIC ENGINEERING》 *
刘磊: "《面向散乱零件机器人抓取作业的立体图像处理与匹配技术》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710396A (zh) * 2023-12-14 2024-03-15 安徽工布智造工业科技有限公司 一种基于3d点云的轻钢行业非标零件的识别方法

Also Published As

Publication number Publication date
CN112102397B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
EP2720171B1 (en) Recognition and pose determination of 3D objects in multimodal scenes
US8830229B2 (en) Recognition and pose determination of 3D objects in 3D scenes
US10430951B2 (en) Method and device for straight line detection and image processing
CN111723721A (zh) 基于rgb-d的三维目标检测方法、系统及装置
CN110942515A (zh) 基于点云的目标物体三维计算机建模方法和目标识别方法
JP2012168941A (ja) 記述子を用いて3dオブジェクトまたはオブジェクトを表す方法
CN111627072A (zh) 一种对多传感器进行标定的方法、装置和存储介质
CN113128610A (zh) 一种工业零件位姿估计方法及系统
US10275682B2 (en) Information processing apparatus, information processing method, and storage medium
CN112164115B (zh) 物体位姿识别的方法、装置及计算机存储介质
CN109816634B (zh) 检测方法、模型训练方法、装置及设备
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
CN113252103A (zh) 一种基于matlab图像识别技术计算物料堆体积及质量的方法
CN112102397B (zh) 一种多层零件的定位方法、设备、系统及可读存储介质
US11468609B2 (en) Methods and apparatus for generating point cloud histograms
Li et al. Vision-based target detection and positioning approach for underwater robots
Sølund et al. A large-scale 3D object recognition dataset
TWI543117B (zh) 物件辨識與定位方法
CN116921932A (zh) 焊接轨迹识别方法、装置、设备及存储介质
CN110728222B (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
Hargas et al. Novel machine vision tools applied in biomechatronic tasks
CN111598901A (zh) 基于深度图像的牙科修复制品的加工进度的估算方法
US9740924B1 (en) Feature-based pose detection
CN115922738B (zh) 堆叠场景下的电子元器件抓取方法、装置、设备及介质
WO2023140266A1 (ja) ピッキング装置及び画像生成プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant