CN112215891B - 一种铝型材门窗注胶孔及销钉孔的视觉定位方法和系统 - Google Patents
一种铝型材门窗注胶孔及销钉孔的视觉定位方法和系统 Download PDFInfo
- Publication number
- CN112215891B CN112215891B CN202011129233.3A CN202011129233A CN112215891B CN 112215891 B CN112215891 B CN 112215891B CN 202011129233 A CN202011129233 A CN 202011129233A CN 112215891 B CN112215891 B CN 112215891B
- Authority
- CN
- China
- Prior art keywords
- executing
- glue injection
- calculating
- line1
- line2
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种针对铝型材注胶孔及销钉孔的视觉定位方法，包括步骤一：门窗铝型材连接点定位，其过程为，对源图像进行预处理、轮廓提取、特征提取后得到特征数据，对比及验证特征数据从而计算得到最终定位点坐标；步骤二：注胶孔及销钉孔坐标转换，其过程为，获取铝型材方向及注胶孔、销钉孔与连接点的相对位置，利用步骤一中提取的特征参数以及几何原理计算出注胶孔、销钉孔的实际位置。
Description
技术领域
本发明涉及视觉定位，尤其涉及一种铝型材门窗注胶孔及销钉孔的视觉定位方法和系统。
背景技术
铝型材门窗在生产制造中需要打上注胶孔及销钉孔，目前打孔一般都采用人工操作，精度和效率不高，自动化打孔则需要解决如何通过机器视觉对注胶孔及销钉孔定位的问题。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何通过机器视觉对铝型材门窗注胶孔及销钉孔进行定位。
为实现上述目的，本发明提供了一种铝型材门窗注胶孔及销钉孔的视觉定位方法，包括步骤：
(1)获取待定位的铝型材门窗注胶孔及销钉孔的图像，并对图像进行预处理；
(2)从预处理后的图像中提取铝型材的轮廓；
(3)通过对铝型材的轮廓进行遍历查找，进行凸缺陷检测和阈值比较后提取特征数据并存储；
(4)获取两个特征数据，且其中至少一个特征数据是第一次被获取，然后验证是否符合中梃特征；
(5)如符合中梃特征进行步骤(6)，否则重复步骤(4)；
(6)获取定位点坐标并计算其实际位置；
(7)输入注胶孔及销钉孔的相对位置和方向计算其偏移坐标；
计算得到注胶孔及销钉孔的实际位置，定位完成。
进一步地，步骤(1)中，包括对图像进行灰度化、中值滤波和图像均衡化步骤。
进一步地，步骤(2)中，包括二值化、轮廓查找、膨胀与腐蚀步骤。
进一步地，步骤(3)中，包括步骤：
(4a)进行轮廓查找操作，对查找到的轮廓进行凸缺陷检测，得到Vec4i类型数据，包含起点、终点、最远点和一个凸缺陷深度值；
(4b)遍历步骤(4a)得到的凸缺陷数据，比较凸缺陷深度值与深度阈值的大小；若深度值大于深度阈值，执行步骤(4c)；反之，重新执行步骤(4b)；
(4c)计算步骤(4a)中的最远点与起点组成的线段1与步骤a中的最远点与终点组成的线段2之间的夹角Angle，计算Angle与直角的差值A_diff与直角误差阈值A_Ref的大小；若A_diff小于A_Ref，则认为此凸缺陷为直角缺陷，执行步骤(4d)；反之，执行步骤(4b)；
(4d)创建两个数据结构，一个存储直线线段特征数据，包含线段起点、线段终点、线段方向、线段倾斜角度；另一个存储直角缺陷特征数据，包含两个直角边线段、直角边线段间夹角、直角点坐标；
(4e)利用步骤(4a)中得到的Vec4i数据，计算并记录步骤(4d)中的直角缺陷特征数据；若凸缺陷数据遍历未完成，执行步骤(4b)；反之，特征提取完成。
进一步地，步骤(4)-(6)中，包括步骤：
(5a)获取两个特征数据Data1及Data2，然后取Data1中一条线段记为Line1和Data2中一条线段记为Line2；
(5b)计算Line1与Line2的夹角Angle1，比较Angle1与阈值A_Ref1的大小；若Angle1小于A_Ref1，执行步骤(5c)；反之，执行步骤(5j)；
(5c)计算Line1与Line2的间距Distance，比较Distance与阈值D_Ref的大小；若Distance小于D_Ref，则执行步骤(5d)；反之执行步骤(5j)；
(5d)比较Line1与Line2的方向，若Line1与Line2反向，则执行步骤(5e)；反之，执行步骤(5j)；
(5e)取Data1中的另外一条线段记为Line1_1和Data2中的另外一条线段记为Line2_1；
(5f)计算Line1_1与Line2_1的夹角Angle2，比较Angle2与阈值A_Ref2的大小；若Angle2小于A_Ref2，执行步骤(5g)；反之，执行步骤(5j)；
(5g)比较Line1_1与Line2_1的方向，若Line1_1与Line2_1同向，则执行步骤(5h)；反之，执行步骤(5j)；
(5h)计算Line1_1与Line2_1的间距Distance1，若Distance1在型材宽度区间[minW,maxW]，则执行步骤(5i)；反之执行步骤(5j)；
(5i)此时获取的Data1与Data2即为需要查找的特征数据，根据预设的注胶孔、销钉孔在铝型材的左侧或右侧，获取Data1或Data2中的直角点坐标值Pt，乘以预设的转换矩阵，得到实际位置坐标realPt；
(5j)重新获取Data1或Data2中的一条线段，且有一条线段不同于之前获取的线段，分别记为LineN和LineM；若Data1与Data2中的四条线段都已经验证完毕，执行步骤(5k)；反之，执行步骤(5b)；
(5k)重新获取两个特征数据DataN与DataM，保证两个之中至少有一个与之前的数据不同；若所有特征数据都已经验证完成，则检测到需要的定位点；反之，分别从DataN与DataM各取一条线段，记为LineN和LineM，执行步骤(5b)。
进一步地，步骤(7)和(8)中包括步骤：
(6a)根据获取的特征数据及预设的注胶孔、销钉孔的方位及位置，得到参考线refLine；
(6b)其中注胶孔、销钉孔与型材连接点相对位置Pos_X、Pos_Y，参考线倾斜角度θ为已知参数，根据勾股定理求得连接点与注胶孔、销钉孔的直线距离Len；利用反三角函数计算得到θ2；
(6c)依据refLine的方向，计算注胶孔或销钉孔的实际偏移位置Offset_X、Offset_Y；计算规则如下：
1)若refLine方向第一或第二方向，则θ1＝θ-θ2，由此可得偏移坐标计算公式为：
2)若refLine方向为第三或第四方向，则θ1＝θ+θ2，由此可得偏移坐标计算公式为：
3)若refLine方向为第五或第六方向，则θ1＝θ-θ2，由此可得偏移坐标计算公式为：
4)若refLine方向为第七或第八方向，则θ1＝θ+θ2，由此可得偏移坐标计算公式为：
(6d)根据realPt与偏移坐标，计算出注胶孔、销钉孔的实际位置，定位完成。
本发明在第二方面还提供了一种铝型材门窗注胶孔及销钉孔的视觉定位系统，包括
用于获取待定位的铝型材门窗注胶孔及销钉孔的图像，并对图像进行预处理的预处理模块；
用于从预处理后的图像中提取铝型材的轮廓的轮廓提取模块；
通过对铝型材的轮廓进行遍历查找，进行凸缺陷检测和阈值比较后提取特征数据并存储的特征提取模块；
中梃特征验证及定位点坐标计算模块，用于验证特征数据是否符合中梃特征及获取定位点坐标并计算其实际位置；
注胶孔及销钉孔的实际位置计算模块，用于通过输入的注胶孔及销钉孔的相对位置和方向计算其偏移坐标及计算得到注胶孔及销钉孔的实际位置。
进一步地，特征提取模块被设置为执行以下操作：
(8a)进行轮廓查找操作，对查找到的轮廓进行凸缺陷检测，得到Vec4i类型数据，包含起点、终点、最远点和一个凸缺陷深度值；
(8b)遍历步骤(8a)得到的凸缺陷数据，比较凸缺陷深度值与深度阈值的大小；若深度值大于深度阈值，执行步骤(8c)；反之，重新执行步骤(8b)；
(8c)计算步骤(8a)中的最远点与起点组成的线段1与步骤(8a)中的最远点与终点组成的线段2之间的夹角Angle，计算Angle与直角的差值A_diff与直角误差阈值A_Ref的大小；若A_diff小于A_Ref，则认为此凸缺陷为直角缺陷，执行步骤(8d)；反之，执行步骤(8b)；
(8d)创建两个数据结构，一个存储直线线段特征数据，包含线段起点、线段终点、线段方向、线段倾斜角度；另一个存储直角缺陷特征数据，包含两个直角边线段、直角边线段间夹角、直角点坐标；
(8e)利用步骤(8a)中得到的Vec4i数据，计算并记录步骤(8d)中的直角缺陷特征数据；若凸缺陷数据遍历未完成，执行步骤(8b)；反之，特征提取完成。
进一步地，中梃特征验证及定位点坐标计算模块被设置为执行以下操作：
(9a)获取两个特征数据Data1及Data2，然后取Data1中一条线段记为Line1和Data2中一条线段记为Line2；
(9b)计算Line1与Line2的夹角Angle1，比较Angle1与阈值A_Ref1的大小；若Angle1小于A_Ref1，执行步骤(9c)；反之，执行步骤(9j)；
(9c)计算Line1与Line2的间距Distance，比较Distance与阈值D_Ref的大小；若Distance小于D_Ref，则执行步骤(9d)；反之执行步骤(9j)；
(9d)比较Line1与Line2的方向，若Line1与Line2反向，则执行步骤(9e)；反之，执行步骤(9j)；
(9e)取Data1中的另外一条线段记为Line1_1和Data2中的另外一条线段记为Line2_1；
(9f)计算Line1_1与Line2_1的夹角Angle2，比较Angle2与阈值A_Ref2的大小；若Angle2小于A_Ref2，执行步骤(9g)；反之，执行步骤(9j)；
(9g)比较Line1_1与Line2_1的方向，若Line1_1与Line2_1同向，则执行步骤(9h)；反之，执行步骤(9j)；
(9h)计算Line1_1与Line2_1的间距Distance1，若Distance1在铝型材宽度区间[minW,maxW]，则执行步骤(9i)；反之执行步骤(9j)；
(9i)此时获取的Data1与Data2即为需要查找的特征数据，根据预设的注胶孔、销钉孔在铝型材的左侧或右侧，获取Data1或Data2中的直角点坐标值Pt，乘以预设的转换矩阵，得到实际位置坐标realPt；
(9j)重新获取Data1或Data2中的一条线段，且有一条线段不同于之前获取的线段，分别记为LineN和LineM；若Data1与Data2中的四条线段都已经验证完毕，执行步骤(9k)；反之，执行步骤(9b)；
(9k)重新获取两个特征数据DataN与DataM，保证两个之中至少有一个与之前的数据不同；若所有特征数据都已经验证完成，则检测到需要的定位点；反之，分别从DataN与DataM各取一条线段，记为LineN和LineM，执行步骤(9b)。进一步地，注胶孔及销钉孔的实际位置计算模块被设置为执行以下操作：
(10a)根据获取的特征数据及预设的注胶孔、销钉孔的方位及位置，得到参考线refLine；
(10b)其中注胶孔、销钉孔与型材连接点相对位置Pos_X、Pos_Y，参考线倾斜角度θ为已知参数，根据勾股定理求得连接点与注胶孔、销钉孔的直线距离Len；利用反三角函数计算得到θ2；
(10c)依据refLine的方向，计算注胶孔或销钉孔的实际偏移位置Offset_X、Offset_Y；计算规则如下：
1)若refLine方向第一或第二方向，则θ1＝θ-θ2，由此可得偏移坐标计
算公式为：
2)若refLine方向为第三或第四方向，则θ1＝θ+θ2，由此可得偏移坐标计算公式为：
3)若refLine方向为第五或第六方向，则θ1＝θ-θ2，由此可得偏移坐标计算公式为：
4)若refLine方向为第七或第八方向，则θ1＝θ+θ2，由此可得偏移坐标计算公式为：
(10d)根据realPt与偏移坐标，计算出注胶孔、销钉孔的实际位置。
本发明中提出的定位算法运行速度快、定位精度高，本发明大大提高了门窗生产效率以及降低人工成本。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例中的定位算法流程图；
图2是本发明的一个较佳实施例中的特征数据示意图；
图3是本发明的一个较佳实施例中的注胶孔、销钉孔相对位置示意图；
图4是本发明的一个较佳实施例中的坐标转换示意图；
图5是本发明的一个较佳实施例中的方向示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
如图1所示，根据本发明的一个优选实施例的定位方法包括如下步骤：
第一步：门窗铝型材连接点定位
1.图像预处理
首先对源图像进行灰度化处理，然后对灰度化后的图像进行中值滤波，最后对图像进行均衡化处理，达到去噪、增强对比度的效果。
2.铝型材轮廓提取
a.利用阈值T对预处理过的图像进行二值化操作，得到黑白图像；
b.对得到的黑白图像进行轮廓查找操作，循环遍历查找到的轮廓，记录其中轮廓面积大于面积阈值A的轮廓；
c.创建一个背景为黑色的新图像，将步骤b中记录的轮廓以白色填充的方式绘制在新图像上；
d.对新图像使用大小为S的核进行腐蚀及膨胀操作，达到连通铝型材轮廓且不影响其轮廓边缘的目的。
3.特征提取
a.对步骤2得到的图像进行轮廓查找操作，对查找到的轮廓进行凸缺陷检测，得到Vec4i类型数据，包含三个点(起点、终点、最远点)和一个凸缺陷深度值；
b.遍历步骤a得到的凸缺陷数据，比较凸缺陷深度值与阈值d的大小；若深度值大于深度阈值d，执行步骤c；反之，重新执行步骤b；
c.计算线段1(步骤a中的最远点与起点组成的线段)与线段2(步骤a中的最远点与终点组成的线段)之间的夹角Angle，计算Angle与直角的差值A_diff与直角误差阈值A_Ref的大小；若A_diff小于A_Ref，则认为此凸缺陷为直角缺陷，执行步骤d；反之，执行步骤b；
d.创建两个数据结构，一个存储直线线段特征数据，包含线段起点、线段终点、线段方向、线段倾斜角度；另一个存储直角缺陷特征数据，如图1所示，包含两个直角边线段、直角边线段间夹角、直角点坐标；
e.利用步骤a中得到的Vec4i数据，计算并记录步骤d中的直角缺陷特征数据；若凸缺陷数据遍历未完成，执行步骤b；反之，特征提取完成。
4.对比及验证特征数据获取定位点
a.获取两个特征数据Data1及Data2，然后取Data1中一条线段记为Line1和Data2中一条线段记为Line2；
b.计算Line1与Line2的夹角Angle1，比较Angle1与阈值A_Ref1的大小；若Angle1小于A_Ref1，则认为两个线段近似平行，执行步骤c；反之，执行步骤j；
c.计算Line1与Line2的间距Distance，比较Distance与阈值D_Ref的大小；若Distance小于D_Ref，则执行步骤d；反之执行步骤j；
d.比较Line1与Line2的方向，若Line1与Line2反向，则执行步骤e；反之，执行步骤j；
e.取Data1中的另外一条线段记为Line1_1和Data2中的另外一条线段记为Line2_1；
f.计算Line1_1与Line2_1的夹角Angle2，比较Angle2与阈值A_Ref2的大小；若Angle2小于A_Ref2，则认为两个线段近似平行，执行步骤g；反之，执行步骤j；
g.比较Line1_1与Line2_1的方向，若Line1_1与Line2_1同向，则执行步骤h；反之，执行步骤j；
h.计算Line1_1与Line2_1的间距Distance1，若Distance1在型材宽度区间[minW,maxW]，则执行步骤i；反之执行步骤j；
i.执行到此步时，获取的Data1与Data2即为需要查找的型材特征数据，根据事先约定好的注胶孔、销钉孔在型材的左侧或右侧，获取Data1或Data2中的直角点坐标值Pt，此坐标值即为我们定位的型材连接点图像坐标，然后乘以事先计算转换矩阵，得到实际位置坐标realPt；
j.重新获取Data1或Data2中的一条线段，保证有一条线段不同于之前获取的线段，分别记为Line1和Line2；若Data1与Data2中的四条线段都已经验证完毕，执行步骤k；反之，执行步骤b；
k.重新获取两个特征数据Data1与Data2，保证两个之中至少有一个与之前的数据不同；若所有特征数据都已经验证完成，则说明为检测到需要的定位点；反之，分别从Data1与Data2各区一条线段，记为Line1和Line2，执行步骤b。
第二步：注胶孔及销钉孔坐标转换
1、根据第一步获取的特征数据及事先约定的注胶孔11、销钉孔12的方位及位置，如图3，可获取到一条参考线refLine；
2、如图4，其中注胶孔、销钉孔与型材连接点相对位置Pos_X、Pos_Y，参考线倾斜角度θ为已知参数，根据勾股定理可求得连接点与注胶孔、销钉孔的直线距离Len；利用反三角函数计算得到θ2；
3、依据refLine的方向，计算注胶孔或销钉孔的实际偏移位置Offset_X、Offset_Y；计算规则如下：
1)若refLine方向为图5中的1或2所示方向，即第一或第二方向，则θ1＝
θ-θ2，由此可得偏移坐标计算公式为：
2)若refLine方向为图5中的3或4所示方向，即第三或第四方向，则θ1＝
θ+θ2，由此可得偏移坐标计算公式为：
3)若refLine方向为图5中的5或6所示方向，即第五或第六方向，则θ1＝
θ-θ2，由此可得偏移坐标计算公式为：
4)若refLine方向为图5中的7或8所示方向，即第七或第八方向，则θ1＝
θ+θ2，由此可得偏移坐标计算公式为：
根据第一步计算的realPt与第二步计算得到的偏移坐标，最终可以计算出注胶孔、销钉孔的实际位置信息。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (6)
1.一种铝型材门窗注胶孔及销钉孔的视觉定位方法，其特征在于，包括步骤：
(1)获取待定位的铝型材门窗注胶孔及销钉孔的图像，并对图像进行预处理；
(2)从预处理后的图像中提取铝型材的轮廓；
(3)通过对铝型材的轮廓进行遍历查找，进行凸缺陷检测和阈值比较后提取特征数据并存储；
(4)获取两个特征数据，且其中至少一个特征数据是第一次被获取，然后验证是否符合中梃特征；
(5)如符合中梃特征进行步骤(6)，否则重复步骤(4)；
(6)获取定位点坐标并计算其实际位置；
(7)输入注胶孔及销钉孔的相对位置和方向计算其偏移坐标；
(8)计算得到注胶孔及销钉孔的实际位置，定位完成；
步骤(1)中，包括对图像进行灰度化、中值滤波和图像均衡化步骤；
步骤(2)中，包括二值化、轮廓查找、膨胀与腐蚀步骤；
步骤(3)中，包括步骤：
(4a)进行轮廓查找操作，对查找到的轮廓进行凸缺陷检测，得到Vec4i类型数据，包含起点、终点、最远点和一个凸缺陷深度值；
(4b)遍历步骤(4a)得到的凸缺陷数据，比较凸缺陷深度值与深度阈值的大小；若深度值大于深度阈值，执行步骤(4c)；反之，重新执行步骤(4b)；
(4c)计算步骤(4a)中的最远点与起点组成的线段1与步骤(4a)中的最远点与终点组成的线段2之间的夹角Angle，计算Angle与直角的差值A_diff与直角误差阈值A_Ref的大小；若A_diff小于A_Ref，则认为此凸缺陷为直角缺陷，执行步骤(4d)；反之，执行步骤(4b)；
(4d)创建两个数据结构，一个存储直线线段特征数据，包含线段起点、线段终点、线段方向、线段倾斜角度；另一个存储直角缺陷特征数据，包含两个直角边线段、直角边线段间夹角、直角点坐标；
(4e)利用步骤(4a)中得到的Vec4i数据，计算并记录步骤(4d)中的直角缺陷特征数据；若凸缺陷数据遍历未完成，执行步骤(4b)；反之，特征提取完成。
2.如权利要求1所述的铝型材门窗注胶孔及销钉孔的视觉定位方法，其中，步骤(4)-(6)中，包括步骤：
(5a)获取两个特征数据Data1及Data2，然后取Data1中一条线段记为Line1和Data2中一条线段记为Line2；
(5b)计算Line1与Line2的夹角Angle1，比较Angle1与阈值A_Ref1的大小；若Angle1小于A_Ref1，执行步骤(5c)；反之，执行步骤(5j)；
(5c)计算Line1与Line2的间距Distance，比较Distance与阈值D_Ref的大小；若Distance小于D_Ref，则执行步骤(5d)；反之执行步骤(5j)；
(5d)比较Line1与Line2的方向，若Line1与Line2反向，则执行步骤(5e)；反之，执行步骤(5j)；
(5e)取Data1中的另外一条线段记为Line1_1和Data2中的另外一条线段记为Line2_1；
(5f)计算Line1_1与Line2_1的夹角Angle2，比较Angle2与阈值A_Ref2的大小；若Angle2小于A_Ref2，执行步骤(5g)；反之，执行步骤(5j)；
(5g).比较Line1_1与Line2_1的方向，若Line1_1与Line2_1同向，则执行步骤(5h)；反之，执行步骤(5j)；
(5h)计算Line1_1与Line2_1的间距Distance1，若Distance1在型材宽度区间[minW,maxW]，则执行步骤(5i)；反之执行步骤(5j)；
(5i)此时获取的Data1与Data2即为需要查找的特征数据，根据预设的注胶孔、销钉孔在铝型材的左侧或右侧，获取Data1或Data2中的直角点坐标值Pt，乘以预设的转换矩阵，得到实际位置坐标realPt；
(5j)重新获取Data1或Data2中的一条线段，且有一条线段不同于之前获取的线段，分别记为LineN和LineM；若Data1与Data2中的四条线段都已经验证完毕，执行步骤(5k)；反之，执行步骤(5b)；
(5k).重新获取两个特征数据DataN与DataM，保证两个之中至少有一个与之前的数据不同；若所有特征数据都已经验证完成，则检测到需要的定位点；反之，分别从DataN与DataM各取一条线段，记为LineN和LineM，执行步骤(5b)。
3.如权利要求2所述的铝型材门窗注胶孔及销钉孔的视觉定位方法，其中，步骤(7)和(8)中包括步骤：
(6a)根据获取的特征数据及预设的注胶孔、销钉孔的方位及位置，得到参考线refLine；
(6b)其中注胶孔、销钉孔与型材连接点相对位置Pos_X、Pos_Y，参考线倾斜角度θ为已知参数，根据勾股定理求得连接点与注胶孔、销钉孔的直线距离Len；利用反三角函数计算得到θ2；
(6c)依据refLine的方向，计算注胶孔或销钉孔的实际偏移位置Offset_X、Offset_Y；计算规则如下：
1)若refLine方向第一或第二方向，则θ1＝θ-θ2，由此可得偏移坐标计算公式为：
2)若refLine方向为第三或第四方向，则θ1＝θ+θ2，由此可得偏移坐标计算公式为：
3)若refLine方向为第五或第六方向，则θ1＝θ-θ2，由此可得偏移坐标计算公式为：
4)若refLine方向为第七或第八方向，则θ1＝θ+θ2，由此可得偏移坐标计算公式为：
(6d)根据realPt与偏移坐标，计算出注胶孔、销钉孔的实际位置，定位完成。
4.一种铝型材门窗注胶孔及销钉孔的视觉定位系统，其特征在于，包括
用于获取待定位的铝型材门窗注胶孔及销钉孔的图像，并对图像进行预处理的预处理模块；
用于从预处理后的图像中提取铝型材的轮廓的轮廓提取模块；
通过对铝型材的轮廓进行遍历查找，进行凸缺陷检测和阈值比较后提取特征数据并存储的特征提取模块；
中梃特征验证及定位点坐标计算模块，用于验证特征数据是否符合中梃特征及获取定位点坐标并计算其实际位置；
注胶孔及销钉孔的实际位置计算模块，用于通过输入的注胶孔及销钉孔的相对位置和方向计算其偏移坐标及计算得到注胶孔及销钉孔的实际位置；
特征提取模块被设置为执行以下操作：
(8a)进行轮廓查找操作，对查找到的轮廓进行凸缺陷检测，得到Vec4i类型数据，包含起点、终点、最远点和一个凸缺陷深度值；
(8b)遍历步骤(8a)得到的凸缺陷数据，比较凸缺陷深度值与深度阈值的大小；若深度值大于深度阈值，执行步骤(8c)；反之，重新执行步骤(8b)；
(8c)计算步骤(8a)中的最远点与起点组成的线段1与步骤(8a)中的最远点与终点组成的线段2之间的夹角Angle，计算Angle与直角的差值A_diff与直角误差阈值A_Ref的大小；若A_diff小于A_Ref，则认为此凸缺陷为直角缺陷，执行步骤(8d)；反之，执行步骤(8b)；
(8d)创建两个数据结构，一个存储直线线段特征数据，包含线段起点、线段终点、线段方向、线段倾斜角度；另一个存储直角缺陷特征数据，包含两个直角边线段、直角边线段间夹角、直角点坐标；
(8e)利用步骤(8a)中得到的Vec4i数据，计算并记录步骤(8d)中的直角缺陷特征数据；若凸缺陷数据遍历未完成，执行步骤(8b)；反之，特征提取完成。
5.如权利要求4所述的铝型材门窗注胶孔及销钉孔的视觉定位系统，其中，中梃特征验证及定位点坐标计算模块被设置为执行以下操作：
(9a)获取两个特征数据Data1及Data2，然后取Data1中一条线段记为Line1和Data2中一条线段记为Line2；
(9b)计算Line1与Line2的夹角Angle1，比较Angle1与阈值A_Ref1的大小；若Angle1小于A_Ref1，执行步骤(9c)；反之，执行步骤(9j)；
(9c)计算Line1与Line2的间距Distance，比较Distance与阈值D_Ref的大小；若Distance小于D_Ref，则执行步骤(9d)；反之执行步骤(9j)；
(9d)比较Line1与Line2的方向，若Line1与Line2反向，则执行步骤(9e)；反之，执行步骤(9j)；
(9e)取Data1中的另外一条线段记为Line1_1和Data2中的另外一条线段记为Line2_1；
(9f)计算Line1_1与Line2_1的夹角Angle2，比较Angle2与阈值A_Ref2的大小；若Angle2小于A_Ref2，执行步骤(9g)；反之，执行步骤(9j)；
(9g)比较Line1_1与Line2_1的方向，若Line1_1与Line2_1同向，则执行步骤(9h)；反之，执行步骤(9j)；
(9h)计算Line1_1与Line2_1的间距Distance1，若Distance1在铝型材宽度区间[minW,maxW]，则执行步骤(9i)；反之执行步骤(9j)；
(9i)此时获取的Data1与Data2即为需要查找的特征数据，根据预设的注胶孔、销钉孔在铝型材的左侧或右侧，获取Data1或Data2中的直角点坐标值Pt，乘以预设的转换矩阵，得到实际位置坐标realPt；
(9j)重新获取Data1或Data2中的一条线段，且有一条线段不同于之前获取的线段，分别记为LineN和LineM；若Data1与Data2中的四条线段都已经验证完毕，执行步骤(9k)；反之，执行步骤(9b)；
(9k)重新获取两个特征数据DataN与DataM，保证两个之中至少有一个与之前的数据不同；若所有特征数据都已经验证完成，则检测到需要的定位点；反之，分别从DataN与DataM各取一条线段，记为LineN和LineM，执行步骤(9b)。
6.如权利要求5所述的铝型材门窗注胶孔及销钉孔的视觉定位系统，其中，注胶孔及销钉孔的实际位置计算模块被设置为执行以下操作：
(10a)根据获取的特征数据及预设的注胶孔、销钉孔的方位及位置，得到参考线refLine；
(10b)其中注胶孔、销钉孔与型材连接点相对位置Pos_X、Pos_Y，参考线倾斜角度θ为已知参数，根据勾股定理求得连接点与注胶孔、销钉孔的直线距离Len；利用反三角函数计算得到θ2；
(10c)依据refLine的方向，计算注胶孔或销钉孔的实际偏移位置Offset_X、Offset_Y；计算规则如下：
1)若refLine方向第一或第二方向，则θ1＝θ-θ2，由此可得偏移坐标计算公式为：
2)若refLine方向为第三或第四方向，则θ1＝θ+θ2，由此可得偏移坐标计算公式为：
3)若refLine方向为第五或第六方向，则θ1＝θ-θ2，由此可得偏移坐标计算公式为：
4)若refLine方向为第七或第八方向，则θ1＝θ+θ2，由此可得偏移坐标计算公式为：
(10d)根据realPt与偏移坐标，计算出注胶孔、销钉孔的实际位置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2020106696229 | 2020-07-13 | ||
| CN202010669622 | 2020-07-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112215891A CN112215891A (zh) | 2021-01-12 |
| CN112215891B true CN112215891B (zh) | 2022-12-13 |
Family
ID=74056250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011129233.3A Active CN112215891B (zh) | 2020-07-13 | 2020-10-21 | 一种铝型材门窗注胶孔及销钉孔的视觉定位方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215891B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4941182A (en) * | 1987-07-29 | 1990-07-10 | Phoenix Software Development Co. | Vision system and method for automated painting equipment |
| US5471550A (en) * | 1992-11-16 | 1995-11-28 | Brother Kogyo Kabushiki Kaisha | Apparatus for converting image outline data into dot data representative of image dots |
| CN108596925A (zh) * | 2018-03-14 | 2018-09-28 | 浙江大学山东工业技术研究院 | 基于视觉的太阳花模组表面螺钉孔位置图像处理方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102009015594B4 (de) * | 2009-03-30 | 2015-07-30 | Carl Zeiss Sms Gmbh | Verfahren und Vorrichtung zur subpixelgenauen Positionsbestimmung einer Kante einer Markerstruktur in einer Vielzahl von Aufnahmepixeln aufweisenden Aufnahme der Markerstruktur |
| CN104923593B (zh) * | 2015-05-20 | 2017-01-11 | 南京航空航天大学 | 一种基于视觉的顶层折弯板材定位方法 |
| CN107895372B (zh) * | 2017-11-14 | 2018-09-21 | 易思维（天津）科技有限公司 | 一种用于机器人涂胶检测的胶条骨架线自动示教方法及系统 |
| CN108765378B (zh) * | 2018-05-07 | 2021-07-09 | 上海理工大学 | 基于g代码引导下工件轮廓飞边凸起的机器视觉检测方法 |
-
2020
- 2020-10-21 CN CN202011129233.3A patent/CN112215891B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4941182A (en) * | 1987-07-29 | 1990-07-10 | Phoenix Software Development Co. | Vision system and method for automated painting equipment |
| US5471550A (en) * | 1992-11-16 | 1995-11-28 | Brother Kogyo Kabushiki Kaisha | Apparatus for converting image outline data into dot data representative of image dots |
| CN108596925A (zh) * | 2018-03-14 | 2018-09-28 | 浙江大学山东工业技术研究院 | 基于视觉的太阳花模组表面螺钉孔位置图像处理方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于特征技术的塑窗型材锯铣加工中心CAM系统开发;张辉等;《组合机床与自动化加工技术》;20071220(第12期);全文 * |
| 基于计算机视觉的珍珠形状分级识别技术研究;郑华文 等;《工程设计学报》;20081031;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112215891A (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cheung et al. | An Arabic optical character recognition system using recognition-based segmentation | |
| EP2370935B1 (en) | System and method for three-dimensional alignment of objects using machine vision | |
| TWI384408B (zh) | 影像辨識以及輸出方法與其系統 | |
| WO2007107050A1 (fr) | Procede et systeme d'identification d'empreintes digitales | |
| Dibeklioglu et al. | 3D facial landmarking under expression, pose, and occlusion variations | |
| CN108182383B (zh) | 一种车窗检测的方法及设备 | |
| CN105069452B (zh) | 基于局部结构分析的直线移除方法 | |
| Bab-Hadiashar et al. | Range image segmentation using surface selection criterion | |
| CN113538486B (zh) | 一种提高汽车钣金工件的识别与定位精度的方法 | |
| US9727773B2 (en) | Fingerprint core extraction device for fingerprint matching, fingerprint matching system, fingerprint core extraction method, and program therefor | |
| CN103927532A (zh) | 基于笔画特征的笔迹配准方法 | |
| CN111754422A (zh) | 一种基于EDLines和LSM的视觉巡边方法 | |
| KR100922429B1 (ko) | 스테레오 영상을 이용한 사람 검출 방법 | |
| CN115205560A (zh) | 一种基于单目相机的先验地图辅助室内定位方法 | |
| CN102930242B (zh) | 一种公交车车型识别方法 | |
| CN113830136A (zh) | 一种铁路货车折角塞门手把不正位故障的识别方法 | |
| CN110427909B (zh) | 一种移动端驾驶证检测方法、系统及电子设备和存储介质 | |
| CN112215891B (zh) | 一种铝型材门窗注胶孔及销钉孔的视觉定位方法和系统 | |
| Huber-Mörk et al. | Statistical rail surface classification based on 2d and 21/2d image analysis | |
| CN111539951B (zh) | 一种陶瓷砂轮头轮廓尺寸视觉检测方法 | |
| CN107993193A (zh) | 基于光照均衡化和改进surf算法的隧道衬砌图像拼接方法 | |
| CN1333365C (zh) | 指纹识别方法 | |
| CN110378337B (zh) | 金属切削刀具图纸标识信息视觉输入方法及系统 | |
| CN116452826A (zh) | 基于机器视觉的遮挡情况下煤矸石轮廓估计方法 | |
| CN113066041A (zh) | 一种基于栈稀疏自编码深度学习的路面裂缝检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |