CN113192097A - 工业零件位姿识别方法、装置、电子设备及存储介质 - Google Patents
工业零件位姿识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113192097A CN113192097A CN202110754363.4A CN202110754363A CN113192097A CN 113192097 A CN113192097 A CN 113192097A CN 202110754363 A CN202110754363 A CN 202110754363A CN 113192097 A CN113192097 A CN 113192097A
- Authority
- CN
- China
- Prior art keywords
- data set
- point
- connecting line
- industrial part
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种工业零件位姿识别方法、装置、电子设备及存储介质,通过获取工业零件的图像;根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;根据所述四个顶点的坐标数据计算所述工业零件的姿态角度;从而可降低计算量,提高识别速度,并提高识别结果准确性。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种工业零件位姿识别方法、装置、电子设备及存储介质。
背景技术
随着自动化技术的高速发展,工业机器人在智能化生产线上的应用越来越广泛。现代智能化工业机器人中常常引入视觉系统,由视觉系统检测零件的位置,再控制机器人实现抓取。这样不仅能提高抓取操作的灵活性,还能增加其准确性、提高速度。
目前,利用视觉系统检测零件的位姿(包括质心位置和姿态角度)的方法主要有基于模板匹配的位姿识别方法和特征点匹配位姿识别方法;基于模板匹配的位姿识别方法要将模板中的每个像素的数据与图像滑窗中的值做对比,可以通过反差或相关性等计算对应像素的相似性,由于需要逐个对所有像素值进行对比,计算量大,尤其在多视角状态情况下十分耗时;传统的特征点匹配位姿识别方法在实际的匹配过程中由于提取的特征点较多,识别速度依然不够理想,而且对于纹理丰富且复杂的图像易出现图像特征点误匹配的情况,识别结果准确性较差。
发明内容
鉴于上述现有技术的不足之处,本申请实施例的目的在于提供一种工业零件位姿识别方法、装置、电子设备及存储介质,其识别速度快且识别结果准确性较高。
第一方面,本申请实施例提供一种工业零件位姿识别方法,应用于工业机器人的视觉系统;包括步骤:
A1.获取工业零件的图像;
A2.根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;
A3.根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;
A4.根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;
A5.对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;
A6.以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;一个像素点的尖锐角度是指对应的第一连线和第二连线之间的夹角角度,所述第一连线是指所述像素点与上一个相邻像素点之间的连线,所述第二连线是指所述像素点与下一个相邻像素点之间的连线;
A7.根据所述四个顶点的坐标数据计算所述工业零件的姿态角度,完成位姿识别。
本申请实施例的工业零件位姿识别方法,在获取最外边缘轮廓的边缘像素点坐标数据集后,直接根据该边缘像素点坐标数据集计算得到工业零件的轮廓质心坐标,然后获取所述最外边缘轮廓的凸包数据集,从而初步减少用于进行姿态角度计算的像素点数量,再对凸包数据集进行过滤处理,从而进一步减少用于进行姿态角度计算的像素点数量,最后从过滤处理后的凸包数据集中选取四个顶点进行姿态角度计算,计算量大大降低,识别速度快;此外,由于是提取最外边缘轮廓边缘像素点坐标数据集进行识别,不受工件内部纹理的影响,识别结果准确性较高。
优选地,步骤A2包括:
A201.对所述图像进行边缘处理得到至少一个图像轮廓的边缘像素点坐标数据集;
A202.从所述至少一个图像轮廓的边缘像素点坐标数据集中提取最外边缘轮廓的边缘像素点坐标数据集。
优选地,步骤A201包括:
对所述图像进行高斯模糊去噪处理;
对去噪处理后的图像进行灰度处理,得到灰度图像;
对所述灰度图像进行sobel算子边缘检测,得到sobel算子边缘检测数据集;
采用canny算子从所述sobel算子边缘检测数据集中取图像轮廓的边缘像素点坐标数据集。
优选地,步骤A3包括:
根据所述边缘像素点坐标数据集计算所述最外边缘轮廓的几何中心矩,得到所述工业零件的轮廓质心坐标。
优选地,步骤A5包括:
A501.在所述凸包数据集中,以其中一个点为保留点,沿第一指定方向依次计算后方各点与所述保留点的距离,若所述距离不大于预设的距离阈值则过滤掉对应的点,直到所述距离大于预设的距离阈值则保存对应的点为新的保留点;所述第一指定方向为顺时针方向或逆时针方向;
A502.重复以下步骤直到遍历所述凸包数据集中的所有点:
以上一个保留点为起点,沿所述第一指定方向依次计算后方各点与所述上一个保留点的距离,若所述距离不大于预设的距离阈值则过滤掉对应的点,直到所述距离大于预设的距离阈值则保存对应的点为新的保留点;
A503.以所有保留点的坐标数据集合作为过滤处理后的凸包数据集。
优选地,步骤A6包括:
依次以过滤处理后的凸包数据集中各点为目标点,以目标点与沿第二指定方向的上一个点的连线为第一连线,以目标点与沿第二指定方向的下一个点的连线为第二连线,计算第一连线与第二连线之间的夹角作为所述目标点的尖锐角度;
根据所述尖锐角度对过滤处理后的凸包数据集的各点进行降序排列或升序排列;
以降序排序的后四个点或升序排序的前四个点为顶点,并提取四个顶点的坐标数据。
优选地,步骤A7包括:
计算四个顶点两两之间的连接线段的长度;
以长度最大或最小的两个连接线段为目标连接线段,计算两个目标连接线段的中点的坐标;
根据两个所述中点的坐标计算所述两个中点之间的连线的斜率值;
利用反正切函数计算所述斜率值对应的倾斜角度作为所述工业零件的姿态角度。
第二方面,本申请实施例提供一种工业零件位姿识别装置,应用于工业机器人的视觉系统;包括:
第一获取模块,用于获取工业零件的图像;
第二获取模块,用于根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;
质心坐标计算模块,用于根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;
第三获取模块,用于根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;
过滤模块,用于对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;
顶点坐标提取模块,用于以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;一个像素点的尖锐角度是指对应的第一连线和第二连线之间的夹角角度,所述第一连线是指所述像素点与上一个相邻像素点之间的连线,所述第二连线是指所述像素点与下一个相邻像素点之间的连线;
姿态角度计算模块,用于根据所述四个顶点的坐标数据计算所述工业零件的姿态角度。
第三方面,本申请实施例提供一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如所述的工业零件位姿识别方法的步骤。
第四方面,本申请实施例提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时运行如所述的工业零件位姿识别方法的步骤。
有益效果:
本申请实施例提供的工业零件位姿识别方法、装置、电子设备及存储介质,在获取最外边缘轮廓的边缘像素点坐标数据集后,直接根据该边缘像素点坐标数据集计算得到工业零件的轮廓质心坐标,然后获取所述最外边缘轮廓的凸包数据集,从而初步减少用于进行姿态角度计算的像素点数量,再对凸包数据集进行过滤处理,从而进一步减少用于进行姿态角度计算的像素点数量,最后从过滤处理后的凸包数据集中选取四个顶点进行姿态角度计算,计算量大大降低,识别速度快;此外,由于是提取最外边缘轮廓边缘像素点坐标数据集进行识别,不受工件内部纹理的影响,识别结果准确性较高。
附图说明
图1为本申请实施例提供的工业零件位姿识别方法的流程图。
图2为本申请实施例提供的工业零件位姿识别装置的结构示意图。
图3为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
下文的公开提供的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定的工艺和材料的例子,但是本领域普通技术佩戴人员可以意识到其他工艺的应用和/或其他材料的使用。
请参阅图1,本申请实施例提供的一种工业零件位姿识别方法,应用于工业机器人的视觉系统;包括步骤:
A1.获取工业零件的图像;
A2.根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;
A3.根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;
A4.根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;
A5.对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;
A6.以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;一个像素点的尖锐角度是指对应的第一连线和第二连线之间的夹角角度,所述第一连线是指所述像素点与上一个相邻像素点之间的连线,所述第二连线是指所述像素点与下一个相邻像素点之间的连线;
A7.根据所述四个顶点的坐标数据计算所述工业零件的姿态角度,完成位姿识别(位姿包括轮廓质心坐标和姿态角度)。
该工业零件位姿识别方法,在获取最外边缘轮廓的边缘像素点坐标数据集后,直接根据该边缘像素点坐标数据集计算得到工业零件的轮廓质心坐标,然后获取所述最外边缘轮廓的凸包数据集,从而初步减少用于进行姿态角度计算的像素点数量,再对凸包数据集进行过滤处理,从而进一步减少用于进行姿态角度计算的像素点数量,最后从过滤处理后的凸包数据集中选取四个顶点进行姿态角度计算,计算量大大降低,识别速度快;此外,由于是提取最外边缘轮廓边缘像素点坐标数据集进行识别,不受工件内部纹理的影响,识别结果准确性较高。
优选地,步骤A2包括:
A201.对所述图像进行边缘处理得到至少一个图像轮廓的边缘像素点坐标数据集;
A202.从所述至少一个图像轮廓的边缘像素点坐标数据集中提取最外边缘轮廓的边缘像素点坐标数据集。
由于在图像中工业零件内部可能存在各种纹理,因此,在进行边缘处理时可能会得到多个图像轮廓和对应的边缘像素点坐标数据集,但这些图像轮廓中必然有一个轮廓把其它轮廓均包围在内,这个把其它轮廓均包围在内的轮廓即为最外边缘轮廓。
现有技术中,对图像进行边缘处理以获取图像轮廓的边缘像素点坐标数据集的方法有很多,步骤A201中可采用现有技术进行处理,也可采用以下方法进行处理:步骤A201包括:
对所述图像进行高斯模糊去噪处理;
对去噪处理后的图像进行灰度处理,得到灰度图像;
对所述灰度图像进行sobel算子边缘检测,得到sobel算子边缘检测数据集;
采用canny算子从所述sobel算子边缘检测数据集中取图像轮廓的边缘像素点坐标数据集。
在一些实施方式中,步骤A3包括:
根据所述边缘像素点坐标数据集计算所述最外边缘轮廓的几何中心矩,得到所述工业零件的轮廓质心坐标。
例如,边缘像素点坐标数据集为{(x1,y1),(x2,y2)…(xi,yi)…(xn,yn)},其中(xi,yi)为第i个像素点的坐标,xi为第i个像素点的横坐标,yi为第i个像素点的纵坐标,n是像素点总数,则工业零件的轮廓质心坐标计算公式如下:
X=(x1+x2+……xn)/n;
Y=(y1+y2+……yn)/n;
其中,X为轮廓质心的横坐标,Y为轮廓质心的纵坐标。
在本实施例中,步骤A4中,最外边缘轮廓的凸包数据集为所述边缘像素点坐标数据集的一个子集,且该凸包数据集中相邻点用直线连接后得到的多边形把所述边缘像素点坐标数据集的所有点包围在内(位于该多边形边线上的点也算作包围在内)。现有技术中用于提取凸包数据集的方法和工具有很多,此处不对其提取方式进行限定,例如可使用OPENCV提供的convexHull函数进行提取。
其中,对凸包数据集进行过滤处理的方式有很多;例如,可以每隔N个点就保留一个点,并过滤掉非保留的点,从而得到过滤处理后的凸包数据集,其中N为预设的正整数;这种方式比较简单。
或例如,在一些实施方式中,步骤A5包括:
A501.在所述凸包数据集中,以其中一个点为保留点,沿第一指定方向依次计算后方各点与所述保留点的距离,若所述距离不大于预设的距离阈值则过滤掉对应的点,直到所述距离大于预设的距离阈值则保存对应的点为新的保留点;所述第一指定方向为顺时针方向或逆时针方向;
A502.重复以下步骤直到遍历所述凸包数据集中的所有点:
以上一个保留点为起点,沿所述第一指定方向依次计算后方各点与所述上一个保留点的距离,若所述距离不大于预设的距离阈值则过滤掉对应的点,直到所述距离大于预设的距离阈值则保存对应的点为新的保留点;
A503.以所有保留点的坐标数据集合作为过滤处理后的凸包数据集。
与上一种方式相比,可保证保留下来的点之间的间距比较均匀,从而更好地保留原轮廓的形状特征,最终的位姿识别结果更准确。
其中,预设的距离阈值可根据实际需要设置,可以是固定值,也可以是所述凸包数据集中的最大像素点距离(所述凸包数据集中任意两个点的距离的最大值)的预设比例值。在一些示例中,步骤A5还包括:计算所述凸包数据集中的最大像素点距离,用所述最大像素点距离乘以预设比例数得到第一间距值,判断所述第一间距值是否大于预设的第二间距值(为固定值),若是,则以所述第二间距值为预设的距离阈值,否则,以所述第一间距值为预设的距离阈值;从而避免过滤处理后的凸包数据集中的像素点过于稀疏而影响识别结果的准确性。
其中,步骤A501中,可随机选取一个点为第一个保留点,也可选取离所述轮廓质心最远的点为第一个保留点,或者选取离所述轮廓质心最近的点为第一个保留点。其中,以后两者为优,因为离所述轮廓质心最远的点和离所述轮廓质心最近的点是重要的特征点,保留给特征点能够更好地保留工业零件的形状特征。优选地,若步骤A502之后得到的所有保留点中不包含离所述轮廓质心最远的点或离所述轮廓质心最近的点,则把离所述轮廓质心最远的点或离所述轮廓质心最近的点添加为保留点。
在本实施例中,步骤A6包括:
依次以过滤处理后的凸包数据集中各点为目标点,以目标点与沿第二指定方向的上一个点的连线为第一连线,以目标点与沿第二指定方向的下一个点的连线为第二连线,计算第一连线与第二连线之间的夹角作为所述目标点的尖锐角度;
根据所述尖锐角度对过滤处理后的凸包数据集的各点进行降序排列或升序排列;
以降序排序的后四个点或升序排序的前四个点为顶点,并提取四个顶点的坐标数据。
具体地,步骤A7包括:
计算四个顶点两两之间的连接线段的长度;
以长度最大或最小的两个连接线段为目标连接线段,计算两个目标连接线段的中点的坐标;
根据两个所述中点的坐标计算所述两个中点之间的连线的斜率值;
利用反正切函数计算所述斜率值对应的倾斜角度作为所述工业零件的姿态角度。
由上可知,该工业零件位姿识别方法,在获取最外边缘轮廓的边缘像素点坐标数据集后,直接根据该边缘像素点坐标数据集计算得到工业零件的轮廓质心坐标,然后获取所述最外边缘轮廓的凸包数据集,从而初步减少用于进行姿态角度计算的像素点数量,再对凸包数据集进行过滤处理,从而进一步减少用于进行姿态角度计算的像素点数量,最后从过滤处理后的凸包数据集中选取四个顶点进行姿态角度计算,计算量大大降低,识别速度快;此外,由于是提取最外边缘轮廓边缘像素点坐标数据集进行识别,不受工件内部纹理的影响,识别结果准确性较高。
请参阅图2,本申请实施例提供一种工业零件位姿识别装置,应用于工业机器人的视觉系统;包括:
第一获取模块1,用于获取工业零件的图像;
第二获取模块2,用于根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;
质心坐标计算模块3,用于根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;
第三获取模块4,用于根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;
过滤模块5,用于对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;
顶点坐标提取模块6,用于以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;一个像素点的尖锐角度是指对应的第一连线和第二连线之间的夹角角度,所述第一连线是指所述像素点与上一个相邻像素点之间的连线,所述第二连线是指所述像素点与下一个相邻像素点之间的连线;
姿态角度计算模块7,用于根据所述四个顶点的坐标数据计算所述工业零件的姿态角度。
优选地,第二获取模块2在根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集的时候:
对所述图像进行边缘处理得到至少一个图像轮廓的边缘像素点坐标数据集;
从所述至少一个图像轮廓的边缘像素点坐标数据集中提取最外边缘轮廓的边缘像素点坐标数据集。
由于在图像中工业零件内部可能存在各种纹理,因此,在进行边缘处理时可能会得到多个图像轮廓和对应的边缘像素点坐标数据集,但这些图像轮廓中必然有一个轮廓把其它轮廓均包围在内,这个把其它轮廓均包围在内的轮廓即为最外边缘轮廓。
现有技术中,对图像进行边缘处理以获取图像轮廓的边缘像素点坐标数据集的方法有很多,第二获取模块2可采用现有技术进行处理,也可采用以下方法进行处理:
对所述图像进行高斯模糊去噪处理;
对去噪处理后的图像进行灰度处理,得到灰度图像;
对所述灰度图像进行sobel算子边缘检测,得到sobel算子边缘检测数据集;
采用canny算子从所述sobel算子边缘检测数据集中取图像轮廓的边缘像素点坐标数据集。
在一些实施方式中,质心坐标计算模块3在根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标的时候:
根据所述边缘像素点坐标数据集计算所述最外边缘轮廓的几何中心矩,得到所述工业零件的轮廓质心坐标。
例如,边缘像素点坐标数据集为{(x1,y1),(x2,y2)…(xi,yi)…(xn,yn)},其中(xi,yi)为第i个像素点的坐标,xi为第i个像素点的横坐标,yi为第i个像素点的纵坐标,n是像素点总数,则工业零件的轮廓质心坐标计算公式如下:
X=(x1+x2+……xn)/n;
Y=(y1+y2+……yn)/n;
其中,X为轮廓质心的横坐标,Y为轮廓质心的纵坐标。
在本实施例中,最外边缘轮廓的凸包数据集为所述边缘像素点坐标数据集的一个子集,且该凸包数据集中相邻点用直线连接后得到的多边形把所述边缘像素点坐标数据集的所有点包围在内(位于该多边形边线上的点也算作包围在内)。现有技术中用于提取凸包数据集的方法和工具有很多,此处不对其提取方式进行限定,例如可使用OPENCV提供的convexHull函数进行提取。
其中,对凸包数据集进行过滤处理的方式有很多;例如,可以每隔N个点就保留一个点,并过滤掉非保留的点,从而得到过滤处理后的凸包数据集,其中N为预设的正整数;这种方式比较简单。
或例如,在一些实施方式中,过滤模块5在对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度的时候:
在所述凸包数据集中,以其中一个点为保留点,沿第一指定方向依次计算后方各点与所述保留点的距离,若所述距离不大于预设的距离阈值则过滤掉对应的点,直到所述距离大于预设的距离阈值则保存对应的点为新的保留点;所述第一指定方向为顺时针方向或逆时针方向;
重复以下步骤直到遍历所述凸包数据集中的所有点:以上一个保留点为起点,沿所述第一指定方向依次计算后方各点与所述上一个保留点的距离,若所述距离不大于预设的距离阈值则过滤掉对应的点,直到所述距离大于预设的距离阈值则保存对应的点为新的保留点;
以所有保留点的坐标数据集合作为过滤处理后的凸包数据集。
与上一种方式相比,可保证保留下来的点之间的间距比较均匀,从而更好地保留原轮廓的形状特征,最终的位姿识别结果更准确。
其中,预设的距离阈值可根据实际需要设置,可以是固定值,也可以是所述凸包数据集中的最大像素点距离(所述凸包数据集中任意两个点的距离的最大值)的预设比例值。在一些示例中,过滤模块5在对所述凸包数据集进行过滤处理时,还:计算所述凸包数据集中的最大像素点距离,用所述最大像素点距离乘以预设比例数得到第一间距值,判断所述第一间距值是否大于预设的第二间距值(为固定值),若是,则以所述第二间距值为预设的距离阈值,否则,以所述第一间距值为预设的距离阈值;从而避免过滤处理后的凸包数据集中的像素点过于稀疏而影响识别结果的准确性。
其中,过滤模块5可随机选取一个点为第一个保留点,也可选取离所述轮廓质心最远的点为第一个保留点,或者选取离所述轮廓质心最近的点为第一个保留点。其中,以后两者为优,因为离所述轮廓质心最远的点和离所述轮廓质心最近的点是重要的特征点,保留给特征点能够更好地保留工业零件的形状特征。优选地,若得到的所有保留点中不包含离所述轮廓质心最远的点或离所述轮廓质心最近的点,则把离所述轮廓质心最远的点或离所述轮廓质心最近的点添加为保留点。
在本实施例中,顶点坐标提取模块6在提取四个顶点的坐标数据的时候:
依次以过滤处理后的凸包数据集中各点为目标点,以目标点与沿第二指定方向的上一个点的连线为第一连线,以目标点与沿第二指定方向的下一个点的连线为第二连线,计算第一连线与第二连线之间的夹角作为所述目标点的尖锐角度;
根据所述尖锐角度对过滤处理后的凸包数据集的各点进行降序排列或升序排列;
以降序排序的后四个点或升序排序的前四个点为顶点,并提取四个顶点的坐标数据。
具体地,姿态角度计算模块7在根据所述四个顶点的坐标数据计算所述工业零件的姿态角度的时候:
计算四个顶点两两之间的连接线段的长度;
以长度最大或最小的两个连接线段为目标连接线段,计算两个目标连接线段的中点的坐标;
根据两个所述中点的坐标计算所述两个中点之间的连线的斜率值;
利用反正切函数计算所述斜率值对应的倾斜角度作为所述工业零件的姿态角度。
由上可知,该工业零件位姿识别装置,在获取最外边缘轮廓的边缘像素点坐标数据集后,直接根据该边缘像素点坐标数据集计算得到工业零件的轮廓质心坐标,然后获取所述最外边缘轮廓的凸包数据集,从而初步减少用于进行姿态角度计算的像素点数量,再对凸包数据集进行过滤处理,从而进一步减少用于进行姿态角度计算的像素点数量,最后从过滤处理后的凸包数据集中选取四个顶点进行姿态角度计算,计算量大大降低,识别速度快;此外,由于是提取最外边缘轮廓边缘像素点坐标数据集进行识别,不受工件内部纹理的影响,识别结果准确性较高。
请参阅图3,本申请实施例还提供一种电子设备100,包括处理器101和存储器102,存储器102中存储有计算机程序,处理器101通过调用存储器102中存储的计算机程序,用于执行如上述的工业零件位姿识别方法的步骤。
其中,处理器101与存储器102电性连接。处理器101是电子设备100的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在存储器102内的计算机程序,以及调用存储在存储器102内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
存储器102可用于存储计算机程序和数据。存储器102存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器101通过调用存储在存储器102的计算机程序,从而执行各种功能应用以及数据处理。
在本实施例中,电子设备100中的处理器101会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器102中,并由处理器101来运行存储在存储器102中的计算机程序,从而实现各种功能:获取工业零件的图像;根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;根据所述四个顶点的坐标数据计算所述工业零件的姿态角度。
由上可知,该电子设备,在获取最外边缘轮廓的边缘像素点坐标数据集后,直接根据该边缘像素点坐标数据集计算得到工业零件的轮廓质心坐标,然后获取所述最外边缘轮廓的凸包数据集,从而初步减少用于进行姿态角度计算的像素点数量,再对凸包数据集进行过滤处理,从而进一步减少用于进行姿态角度计算的像素点数量,最后从过滤处理后的凸包数据集中选取四个顶点进行姿态角度计算,计算量大大降低,识别速度快;此外,由于是提取最外边缘轮廓边缘像素点坐标数据集进行识别,不受工件内部纹理的影响,识别结果准确性较高。
本申请实施例还提供一种存储介质,其上存储有计算机程序,该计算机程序被处理器执行时运行如上述的工业零件位姿识别方法的步骤,以实现以下功能:使机器人末端移动到一个第一位置点后依次平移到至少三个其它第一位置点处;获取工业零件的图像;根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;根据所述四个顶点的坐标数据计算所述工业零件的姿态角度。
其中,存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random Access Memory, 简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory, 简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory, 简称EPROM),可编程只读存储器(Programmable Red-Only Memory, 简称PROM),只读存储器(Read-OnlyMemory, 简称ROM),磁存储器,快闪存储器,磁盘或光盘。
综上所述,虽然本发明已以优选实施例揭露如上,但上述优选实施例并非用以限制本发明,本领域的普通技术佩戴人员,在不脱离本发明的精神和范围内,均可作各种更动与润饰,其方案与本发明实质上相同。
Claims (10)
1.一种工业零件位姿识别方法,应用于工业机器人的视觉系统;其特征在于,包括步骤:
A1.获取工业零件的图像;
A2.根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;
A3.根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;
A4.根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;
A5.对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;
A6.以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;一个像素点的尖锐角度是指对应的第一连线和第二连线之间的夹角角度,所述第一连线是指所述像素点与上一个相邻像素点之间的连线,所述第二连线是指所述像素点与下一个相邻像素点之间的连线;
A7.根据所述四个顶点的坐标数据计算所述工业零件的姿态角度,完成位姿识别。
2.根据权利要求1所述的工业零件位姿识别方法,其特征在于,步骤A2包括:
A201.对所述图像进行边缘处理得到至少一个图像轮廓的边缘像素点坐标数据集;
A202.从所述至少一个图像轮廓的边缘像素点坐标数据集中提取最外边缘轮廓的边缘像素点坐标数据集。
3.根据权利要求1所述的工业零件位姿识别方法,其特征在于,步骤A201包括:
对所述图像进行高斯模糊去噪处理;
对去噪处理后的图像进行灰度处理,得到灰度图像;
对所述灰度图像进行sobel算子边缘检测,得到sobel算子边缘检测数据集;
采用canny算子从所述sobel算子边缘检测数据集中取图像轮廓的边缘像素点坐标数据集。
4.根据权利要求1所述的工业零件位姿识别方法,其特征在于,步骤A3包括:
根据所述边缘像素点坐标数据集计算所述最外边缘轮廓的几何中心矩,得到所述工业零件的轮廓质心坐标。
5.根据权利要求1所述的工业零件位姿识别方法,其特征在于,步骤A5包括:
A501.在所述凸包数据集中,以其中一个点为保留点,沿第一指定方向依次计算后方各点与所述保留点的距离,若所述距离不大于预设的距离阈值则过滤掉对应的点,直到所述距离大于预设的距离阈值则保存对应的点为新的保留点;所述第一指定方向为顺时针方向或逆时针方向;
A502.重复以下步骤直到遍历所述凸包数据集中的所有点:
以上一个保留点为起点,沿所述第一指定方向依次计算后方各点与所述上一个保留点的距离,若所述距离不大于预设的距离阈值则过滤掉对应的点,直到所述距离大于预设的距离阈值则保存对应的点为新的保留点;
A503.以所有保留点的坐标数据集合作为过滤处理后的凸包数据集。
6.根据权利要求1所述的工业零件位姿识别方法,其特征在于,步骤A6包括:
依次以过滤处理后的凸包数据集中各点为目标点,以目标点与沿第二指定方向的上一个点的连线为第一连线,以目标点与沿第二指定方向的下一个点的连线为第二连线,计算第一连线与第二连线之间的夹角作为所述目标点的尖锐角度;
根据所述尖锐角度对过滤处理后的凸包数据集的各点进行降序排列或升序排列;
以降序排序的后四个点或升序排序的前四个点为顶点,并提取四个顶点的坐标数据。
7.根据权利要求1所述的工业零件位姿识别方法,其特征在于,步骤A7包括:
计算四个顶点两两之间的连接线段的长度;
以长度最大或最小的两个连接线段为目标连接线段,计算两个目标连接线段的中点的坐标;
根据两个所述中点的坐标计算所述两个中点之间的连线的斜率值;
利用反正切函数计算所述斜率值对应的倾斜角度作为所述工业零件的姿态角度。
8.一种工业零件位姿识别装置,应用于工业机器人的视觉系统;其特征在于,包括:
第一获取模块,用于获取工业零件的图像;
第二获取模块,用于根据所述图像获取所述工业零件的最外边缘轮廓的边缘像素点坐标数据集;
质心坐标计算模块,用于根据所述边缘像素点坐标数据集计算所述工业零件的轮廓质心坐标;
第三获取模块,用于根据所述边缘像素点坐标数据集获取所述最外边缘轮廓的凸包数据集;
过滤模块,用于对所述凸包数据集进行过滤处理以减少凸包数据集中的像素点的密集程度;
顶点坐标提取模块,用于以过滤处理后的凸包数据集中尖锐角度最小的四个像素点为顶点,提取四个顶点的坐标数据;一个像素点的尖锐角度是指对应的第一连线和第二连线之间的夹角角度,所述第一连线是指所述像素点与上一个相邻像素点之间的连线,所述第二连线是指所述像素点与下一个相邻像素点之间的连线;
姿态角度计算模块,用于根据所述四个顶点的坐标数据计算所述工业零件的姿态角度。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如权利要求1-7任一项所述的工业零件位姿识别方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1-7任一项所述的工业零件位姿识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110754363.4A CN113192097B (zh) | 2021-07-05 | 2021-07-05 | 工业零件位姿识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110754363.4A CN113192097B (zh) | 2021-07-05 | 2021-07-05 | 工业零件位姿识别方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113192097A true CN113192097A (zh) | 2021-07-30 |
CN113192097B CN113192097B (zh) | 2021-09-17 |
Family
ID=76976968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110754363.4A Active CN113192097B (zh) | 2021-07-05 | 2021-07-05 | 工业零件位姿识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113192097B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269835A (zh) * | 2021-07-19 | 2021-08-17 | 季华实验室 | 基于轮廓特征的工业零件位姿识别方法、装置和电子设备 |
CN113963068A (zh) * | 2021-10-25 | 2022-01-21 | 季华实验室 | 一种镜像式单像机全向立体视觉传感器全局标定方法 |
CN114399507A (zh) * | 2022-03-25 | 2022-04-26 | 季华实验室 | 一种手机外观质量检测方法、装置、电子设备及存储介质 |
WO2023035832A1 (zh) * | 2021-09-08 | 2023-03-16 | 中建钢构工程有限公司 | 一种基于视觉识别的机器人分拣方法及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103927758A (zh) * | 2014-04-30 | 2014-07-16 | 重庆大学 | 一种基于对比度与角点最小凸包的显著性检测方法 |
US20180365515A1 (en) * | 2014-02-14 | 2018-12-20 | Nant Holdings Ip, Llc | Edge-based recognition, systems and methods |
CN110660072A (zh) * | 2019-09-20 | 2020-01-07 | 北京神工科技有限公司 | 一种直线边缘的识别方法、装置、存储介质及电子设备 |
CN110794956A (zh) * | 2019-06-19 | 2020-02-14 | 南京邮电大学 | 一种基于Kinect的手势追踪和精准指尖定位系统 |
CN110929544A (zh) * | 2018-08-30 | 2020-03-27 | 深圳市前海安测信息技术有限公司 | 基于舌体轮廓线的舌体齿痕识别装置及方法 |
-
2021
- 2021-07-05 CN CN202110754363.4A patent/CN113192097B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180365515A1 (en) * | 2014-02-14 | 2018-12-20 | Nant Holdings Ip, Llc | Edge-based recognition, systems and methods |
CN103927758A (zh) * | 2014-04-30 | 2014-07-16 | 重庆大学 | 一种基于对比度与角点最小凸包的显著性检测方法 |
CN110929544A (zh) * | 2018-08-30 | 2020-03-27 | 深圳市前海安测信息技术有限公司 | 基于舌体轮廓线的舌体齿痕识别装置及方法 |
CN110794956A (zh) * | 2019-06-19 | 2020-02-14 | 南京邮电大学 | 一种基于Kinect的手势追踪和精准指尖定位系统 |
CN110660072A (zh) * | 2019-09-20 | 2020-01-07 | 北京神工科技有限公司 | 一种直线边缘的识别方法、装置、存储介质及电子设备 |
Non-Patent Citations (2)
Title |
---|
PARTHA PRATIM ROY等: "Convex hull based approach for multi-oriented character recognition from graphical documents", 《IEEE》 * |
刘杨俊武等: "基于关键帧和局部极值的手势特征提取算法", 《计算机技术与发展》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113269835A (zh) * | 2021-07-19 | 2021-08-17 | 季华实验室 | 基于轮廓特征的工业零件位姿识别方法、装置和电子设备 |
WO2023035832A1 (zh) * | 2021-09-08 | 2023-03-16 | 中建钢构工程有限公司 | 一种基于视觉识别的机器人分拣方法及存储介质 |
CN113963068A (zh) * | 2021-10-25 | 2022-01-21 | 季华实验室 | 一种镜像式单像机全向立体视觉传感器全局标定方法 |
CN113963068B (zh) * | 2021-10-25 | 2022-08-23 | 季华实验室 | 一种镜像式单像机全向立体视觉传感器全局标定方法 |
CN114399507A (zh) * | 2022-03-25 | 2022-04-26 | 季华实验室 | 一种手机外观质量检测方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113192097B (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113192097B (zh) | 工业零件位姿识别方法、装置、电子设备及存储介质 | |
US10532459B2 (en) | Information processing apparatus, information processing method, and storage medium for grasping an object | |
CN108182383B (zh) | 一种车窗检测的方法及设备 | |
CN109886124B (zh) | 一种基于线束描述子图像匹配的无纹理金属零件抓取方法 | |
CN112828892B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
US20180150969A1 (en) | Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method | |
CN112847375B (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
CN112598922B (zh) | 车位检测方法、装置、设备及存储介质 | |
US9361695B2 (en) | Method of recognizing a position of a workpiece from a photographed image | |
CN112750107A (zh) | 基于轮廓边数拟合与凸包处理的球形工件识别方法及系统 | |
CN112936257A (zh) | 一种工件抓取方法、装置、计算机设备及存储介质 | |
CN113269835A (zh) | 基于轮廓特征的工业零件位姿识别方法、装置和电子设备 | |
CN116416268B (zh) | 基于递归二分法的锂电池极片边缘位置检测方法及装置 | |
CN109313708B (zh) | 图像匹配方法和视觉系统 | |
CN111684462A (zh) | 一种图像匹配方法及视觉系统 | |
CN107862314B (zh) | 一种喷码识别方法和识别装置 | |
CN115690104B (zh) | 一种晶圆裂缝检测方法、装置及存储介质 | |
CN110348363B (zh) | 基于多帧角度信息融合消除相似车辆干扰的车辆跟踪方法 | |
CN109741302B (zh) | 基于机器视觉的sd卡形态识别系统和方法 | |
CN112150541A (zh) | 一种多led晶片定位算法 | |
CN114049380A (zh) | 目标物体定位追踪方法、装置、计算机设备和存储介质 | |
WO2018057082A1 (en) | Curvature-based face detector | |
CN115221910A (zh) | 二维码识别方法、装置、设备及计算机可读存储介质 | |
CN113033578A (zh) | 基于多尺度特征匹配的图像校准方法、系统、终端及介质 | |
CN114398978B (zh) | 一种模板匹配方法、装置、存储介质以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |