CN115587963A - 一种基于hed模型和视觉测量的平面板件圆孔测量方法 - Google Patents
一种基于hed模型和视觉测量的平面板件圆孔测量方法 Download PDFInfo
- Publication number
- CN115587963A CN115587963A CN202210973410.9A CN202210973410A CN115587963A CN 115587963 A CN115587963 A CN 115587963A CN 202210973410 A CN202210973410 A CN 202210973410A CN 115587963 A CN115587963 A CN 115587963A
- Authority
- CN
- China
- Prior art keywords
- edge
- pixel
- hed
- model
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005259 measurement Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000012805 post-processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 9
- 238000000691 measurement method Methods 0.000 claims description 7
- 230000005764 inhibitory process Effects 0.000 claims description 6
- 230000000717 retained effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 239000013589 supplement Substances 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000003708 edge detection Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000007670 refining Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005553 drilling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于HED边缘检测模型和视觉测量算法的平面板件圆孔孔径测量方法，该方法通过深度学习HED模型实现圆孔边缘像素级别检测，在通过亚像素检测算法实现边缘精定位，最后通过相机标定实现像素直径和物理直径转化。首先基于HED模型进行网络训练，实现边缘提取，其次通过后处理算法进行圆孔边缘的细化，接着利用Zernike矩7*7模板进行边缘精定位，并对亚像素级别的像素点进行最小二乘法拟合圆孔轮廓，最后进行像素当量的求解，实现视觉测量圆孔孔径。本发明能在非接触的情况下，基于大数据训练模型后，通过视觉方法处理传统边缘检测算子难以提取边缘的问题，同时直接实现了端到端的检测，省略了繁琐的调参过程，较为准确地实现圆孔孔径的测量。
Description
技术领域
本发明属于视觉测量领域，具体涉及一种基于HED模型和视觉测量的平面板件圆孔测量方法。
背景技术
机器视觉经过不断地发展和完善，目前已经被广泛应用于工业制造领域以及各个装配环节，从自动化检测到自动化装配，自动化分拣，搬运等。基准孔作为大型零件的主要基准特征，其直径测量、表面粗糙度和圆度等成为了视觉测量研究的重点。对于航空领域壁板上成千上万的连接孔，孔的位置精度和测量精度要求很高，相对位置间距和与壁板的边缘距离会影响飞机壁板的受承载情况，尺寸和位置精度直接影响产品的组装质量，因此基准孔必须实现高精度测量；同时，机器人自动化钻孔技术已经被广泛应用于航空领域，视觉测量作为机器人制孔的关键技术，为了提高加工孔的自动化，保证高质量圆孔，实现高精度、高速率的圆孔视觉测量极为重要。机器人制孔过程中也需要判断孔位特征的合理性，进行孔位在线矫正，通常利用视觉单元检测定位工件上预先钻制的基准孔来完成。
目前，基于机器视觉的检测技术以其无接触、快速、实时、精度适中、抗干扰等特点，在国内外得到了深入研究和综合应用。但是在航空领域的应用存在以下问题：
(1)由于航空领域环境复杂，光照和噪声影响较大，算法的通用性和实用性较差。
(2)传统的算子在检测过程中主要依靠工人们的经验来调参，降低了测量的效率。
(3)航空领域复合材料较多，其纹理边界影响较大，算法适用性差。
同时，航空工业领域环境恶劣，复合材料的应用越来越多，成千上万的铆接孔大多数是通过机器人自动化加工形成。而以复合材料为代表的工件背景复杂，噪声影响极强，纹理边界和真实边缘难以区分。因此，本发明以航空领域典型的金属零件和复材零件为代表，对其加工孔的检测进行研究。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提供一种基于HED模型和视觉测量的平面板件圆孔测量方法，直接对图像实现端到端的输出。通过HED模型提取边缘，通过后处理算法进行边缘细化，接着利用亚像素边缘检测算法实现精定位，采用最小二乘法进行轮廓拟合，在相机标定的基础上，实现圆孔孔径的测量。
技术方案
一种基于HED模型和视觉测量的平面板件圆孔非接触测量方法，其特征在于步骤如下：
S1：采用CMOS相机进行圆孔数据集采集，选取不同的背景，不同的光照，不同的对比度进行各个方位的图像采集；进行像素标定，求解像素当量；
S2：利用Labelme软件进行圆孔边缘像素点标注形成Json文件，转化为需要的边缘标签；将其划分为训练样本集及测试样本集；
S3：搭建软件实验平台，配置深度学习环境，通过编程实现HED模型框架，将圆孔和其对应的标签作为HED模型的输入，本发明训练网络时所采用的参数分别为 Batch size为1，Base_lr为1e-8，gamma为0.1，Step size为100，epochs为500， weight_decay为0.0002；进行网络模型参数训练，并且保存最好的模型；
S4：将图片输入S3保存的模型，进行边缘预测；
S5：将S4的结果进行后处理，将边缘细化，通过非极大值抑制和双阈值连接以及杂点删除算法，实现像素级别的定位；
S6：将S4的结果进行亚像素精定位，基于Zernike矩5*5模板计算7*7模板系数，将其结果输入，实现亚像素定位；
S7：通过最小二乘法对S6的结果进行圆孔边缘拟合；
S8：将S7的像素物理尺寸通过S1标定的像素当量转化到物理尺寸；
S9：重复进行步骤S4-S8，便可实现不同圆孔的孔径测量。
本发明进一步的技术方案：S1进行像素标定的过程中，相机标定的过程公式如(1)所示，
其中，L为图像尺寸，单位mm；P为像素尺寸，单位为pixel；k为像素当量。
本发明进一步的技术方案：S2中HED模型具有以下特点：
a.HED网络是在VGG16的基础上，用2个3×3的卷积核来替代1个5×5的卷积核，用3个3×3的卷积核代表1个7×7的卷积核；
b.HED网络，通过多个Side output输出不同scale的边缘，然后通过一个训练的权重融合函数得到最终的边缘输出；
c.采用加权交叉熵损失函数，正样本分配更大的权值而负样本分配小的权重；
d.本次实验采用迁移学习，使用VGG16的预训练参数，在此基础上进行微调；优化器选取动量随机梯度下降算法SGD，学习率的调整采用动态调整方法，针对每个参数的学习率调整为初始化lr的n倍，如所示：
e.F-measure是全局最佳ODS阈值，这保证在所有数据集上得分最高；OIS表示的是单图最佳阈值，即每张图片的最优阈值；RP曲线，即精确率曲线，其中精确率 Precision，召回率Recall，用来表示预测类别正确的像素总数和总像素数的比例，所示：
本发明进一步的技术方案：S5中后处理的方法分别如下：
(1)非极大值抑制
具体的数学网络，设二维高斯函数如式(5)所示：
式中，(x,y)表示待处理像素点坐标值，σ为标准差；
在n方向的方向导数如所示：
其中，
n为方向矢量，
为梯度矢量；
将图像f(x,y)和Gn卷积，改变n的方向，当Gn*f(x,y)取最大值，即梯度方向；
当
时，Gn*f(x,y)如(8)所示：
则：
其中
的二维卷积可以分解为：
式中
为简化运算，令：
式中：
A(x,y)表示图像上(x,y)点的边缘强度，a(x,y)表示此处的法向矢量，再结合Canny 算子定义，确定边缘点；
1)(x,y)点边缘强度大于梯度方向其他的边缘强度；
2)(x,y)点为中心3×3区域内其他像素点的边缘强度极大值小于阈值；
3)(x,y)点梯度方向上相邻的两点方向夹角不超过45度；
(2)双阈值连接和杂点剔除
经过非极大值抑制后的边缘在一定程度上存在边缘点，通过设置双阈值T1和T2,来剔除弱边缘，如式(12)所示；通过像素比较大于低像素小于高像素的边缘保留，大于高像素的设置为强边缘，被保留的像素边缘留下进行补充，保证最后的边缘的完整性，其中T1和T2根据情况而定：
本发明进一步的技术方案：S6基于Zernike矩5*5模板计算7*7模板系数，实现亚像素精定位具体步骤：
S61：计算7*7模板M00、M11、M20、M31、M40；
S62：利用模板和图像的每一个像素点进行卷积运算得Z00、Z11、Z20、Z31和Z40；
S63：取一像素点，计算边缘角度
该角度方向垂直直线边缘；
S64：计算上述灰度值h、阶跃高度k、与中心到边缘的距离L；
S65：边缘点判断，设定阈值ki＝abs(k)>max(img(:))/5，a＝abs(l2-l1)＜1；
S66：否则,返回步骤Step3，取下一像素点计算。
本发明进一步的技术方案：S7具体步骤：
S71：读取二值化图；
S72：搜索点集；
S73：将点集所有的点拟合圆；
S74：判断是否所有的边缘点半径的平方值小于阈值；
S75：输出半径和圆心坐标；
S76：否则，返回步骤S73。
有益效果
本发明提出的一种基于HED模型和视觉测量的平面板件圆孔测量方法，该方法通过深度学习HED模型实现圆孔边缘像素级别检测，在通过亚像素检测算法实现边缘精定位，最后通过相机标定实现像素直径和物理直径转化。首先基于HED模型进行网络训练，实现边缘提取，其次通过后处理算法进行圆孔边缘的细化，接着利用Zernike 矩7*7模板进行边缘精定位，并对亚像素级别的像素点进行最小二乘法拟合圆孔轮廓，最后进行像素当量的求解，实现视觉测量圆孔孔径。进行实验验证，通过内径千分尺进行多组圆孔的孔径测量，并且和本文基于HED算法的结果进行比较，验证本发明的有效性。本发明能在非接触的情况下，基于大数据训练模型后，通过视觉方法处理传统边缘检测算子难以提取边缘的问题，同时直接实现了端到端的检测，省略了繁琐的调参过程，较为准确地实现圆孔孔径的测量。具有以下有益效果：
(1)本发明针对传统的视觉测量受到很多环境的干扰，经常利用传统算子，依靠人工调参常方法效率低的问题，提出了种HED模型和视觉测量的平面板件圆孔测量方法。，其算法运行时速度快，消耗资源少，提高了圆孔检测效率和准确率。
(2)本发明针对机器人自动化钻孔技术，需要实现自主化定位和测量问题提出基于深度学习的边缘检测算法，大大降低了检测过程中的成本，降低了传输资源和运算资源消耗量。
(3)本发明在像素级别的基础上，实现了亚像素精定位，提高了检测的精度。
(4)本发明通过将HED网络模型和视觉测量算法进行融合，摆脱了传统视觉测量受环境、光照等影响因素造成的算法不通用，易受干扰，边缘特征提取困难的问题。适用于复杂噪声环境下的圆孔检测，具有较好的工程价值和应用前景。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1总技术路线图；
图2网络模型图；
图3最小二乘法流程图；
图4亚像素和像素级别拟合图；
图5原图与标签图；
图6 HED输出结果图；
图7后处理结果图；
图8人工测量与视觉测量对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的一种基于HED模型和视觉测量的平面板件圆孔测量方法，通过以下步骤实现：
步骤1：采用CMOS相机进行圆孔数据集采集，选取不同的背景，不同的光照，不同的对比度进行各个方位的图像采集。进行像素标定，求解像素当量；
进行像素标定的过程中，相机标定的过程公式如(1)所示，
图像尺寸L mm代表的像素尺寸为P，单位为pixel，那么像素当量k。
步骤2：利用Labelme软件进行圆孔边缘像素点标注形成Json文件，通过算法转化为需要的边缘标签。将其划分为训练样本集及测试样本集；
步骤3：搭建软件实验平台，配置深度学习环境，通过编程实现HED模型框架，将圆孔和其对应的标签作为HED模型的输入，本发明训练网络时所采用的参数分别为 Batchsize为1，Base_lr为1e-8，gamma为0.1，Step size为100，epochs为500，weight_decay 为0.0002。进行网络模型参数训练，并且保存最好的模型；
a.HED网络是在VGG16的基础上，用2个3×3的卷积核来替代1个5×5的卷积核，用3个3×3的卷积核代表1个7×7的卷积核，这样不仅保证了相同的感受野，同时也减少了参数量；
b.HED网络，通过多个Side output输出不同scale的边缘，然后通过一个训练的权重融合函数得到最终的边缘输出；
c.为了避免分配一样权重导致网络预测时图片预测出现更多的错误，所以采用加权交叉熵损失函数，正样本分配更大的权值而负样本分配小的权重；
d.本次实验采用迁移学习，使用VGG16的预训练参数，在此基础上进行微调。优化器选取动量随机梯度下降算法SGD，学习率的调整采用动态调整方法，针对每个参数的学习率调整为初始化lr的n倍，如所示：
e.F-measure是全局最佳(Optimal Dataset Scale，ODS)阈值，这保证在所有数据集上得分最高。OIS表示的是单图最佳阈值，即每张图片的最优阈值。RP曲线，即精确率曲线，其中Precision(精确率)，Recall(召回率)，用来表示预测类别正确的像素总数和总像素数的比例，所示：
步骤4：将图片输入S3保存的模型，进行边缘预测；
步骤5：将S4的结果进行后处理，将边缘细化，通过非极大值抑制和双阈值连接以及杂点删除算法，实现像素级别的定位；
得到最好的网络模型后，预测输出的图片是粗边缘，为了获得更加清晰的边缘，还需进一步进行后处理研究。后处理的算法分别如下：
(1)非极大值抑制
具体的数学网络，设二维高斯函数如式(5)所示：
式中，(x,y)表示待处理像素点坐标值，σ为标准差。
在n方向的方向导数如所示：
其中，
n为方向矢量，
为梯度矢量。
将图像f(x,y)和Gn卷积，改变n的方向，当Gn*f(x,y)取最大值，即梯度方向。
当
时，Gn*f(x,y)如(8)所示：
则：
其中
的二维卷积可以分解为：
式中
为简化运算，令：
式中：
A(x,y)表示图像上(x,y)点的边缘强度，a(x,y)表示此处的法向矢量，再结合Canny 算子定义，确定边缘点。
(1)(x,y)点边缘强度大于梯度方向其他的边缘强度；
(2)(x,y)点为中心3×3区域内其他像素点的边缘强度极大值小于阈值；
(3)(x,y)点梯度方向上相邻的两点方向夹角不超过45度。
(2)双阈值连接和杂点剔除
经过非极大值抑制后的边缘在一定程度上存在边缘点，本文通过设置双阈值T1和T2，来剔除弱边缘，如式(12)所示。通过像素比较大于低像素小于高像素的边缘保留，大于高像素的设置为强边缘，被保留的像素边缘留下进行补充，保证最后的边缘的完整性，其中T1和T2根据情况而定。
步骤6：将S4的结果进行亚像素精定位，基于Zernike矩5*5模板计算其7*7模板系数，将其结果输入，实现亚像素定位；
步骤7：通过最小二乘法对S6的结果进行圆孔边缘拟合；
步骤8：将S7的像素物理尺寸通过S1标定的像素当量转化到物理尺寸；
步骤9：重复进行步骤S4-S8，便可实现不同圆孔的孔径测量。
实施例1：
基于10组圆孔的孔径测量
步骤1：采用CMOS相机进行圆孔数据集采集，选取不同的背景，不同的光照，不同的对比度进行各个方位的图像采集。进行像素标定，求解像素当量；
步骤2：利用Labelme软件进行圆孔边缘像素点标注形成Json文件，通过算法转化为需要的边缘标签。将其划分为训练样本集及测试样本集；
步骤3：搭建软件实验平台，配置深度学习环境，通过编程实现HED模型框架，将圆孔和其对应的标签作为HED模型的输入，本发明训练网络时所采用的参数分别为 Batchsize为1，Base_lr为1e-8，gamma为0.1，Step size为100，epochs为500，weight_decay 为0.0002。进行网络模型参数训练，并且保存最好的模型；
步骤4：将图片输入S3保存的模型，进行边缘预测；
步骤5：将S4的结果进行后处理，将边缘细化，通过非极大值抑制和双阈值连接以及杂点删除算法，实现像素级别的定位；
步骤6：将S4的结果进行亚像素精定位，基于Zernike矩5*5模板计算其7*7模板系数，将其结果输入，实现亚像素定位；
S61：计算7*7模板M00、M11、M20、M31、M40；
S62：利用模板和图像的每一个像素点进行卷积运算得Z00、Z11、Z20、Z31和Z40；
S63：取一像素点，计算边缘角度
该角度方向垂直直线边缘；
S64：计算上述灰度值h、阶跃高度k、与中心到边缘的距离L；
S65：边缘点判断，设定阈值ki＝abs(k)>max(img(:))/5，a＝abs(l2-l1)＜1；
S66：否则,返回步骤Step3，取下一像素点计算
步骤7：通过最小二乘法对S6的结果进行圆孔边缘拟合；
S71：读取二值化图；
S72：搜索点集；
S73：将点集所有的点拟合圆；
S74：判断是否所有的边缘点半径的平方值小于阈值；
S75：输出半径和圆心坐标；
S76：否则，返回步骤S73。
步骤8：将S7的像素物理尺寸通过S1标定的像素当量转化到物理尺寸；
步骤9：重复进行步骤S4-S8，便可实现不同圆孔的孔径测量；
对该实验台测得的数据样本运用的具体步骤为：
(1)首先利用实验平台进行图像的采集，并且标注形成标签。
(2)进行相机标定，确定像素当量为0.01619。
(3)进行网络的训练和预测，接着进行后处理。
(4)亚像素边缘检测和最小二乘法进行拟合。
(5)计算最终的结果和人工测量进行对比，两种测量结果最大测量偏差为大约0.03mm。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明公开的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种基于HED模型和视觉测量的平面板件圆孔非接触测量方法，其特征在于步骤如下：
S1：采用CMOS相机进行圆孔数据集采集，选取不同的背景，不同的光照，不同的对比度进行各个方位的图像采集；进行像素标定，求解像素当量；
S2：利用Labelme软件进行圆孔边缘像素点标注形成Json文件，转化为需要的边缘标签；将其划分为训练样本集及测试样本集；
S3：搭建软件实验平台，配置深度学习环境，通过编程实现HED模型框架，将圆孔和其对应的标签作为HED模型的输入，本发明训练网络时所采用的参数分别为Batch size为1，Base_lr为1e-8，gamma为0.1，Step size为100，epochs为500，weight_decay为0.0002；进行网络模型参数训练，并且保存最好的模型；
S4：将图片输入S3保存的模型，进行边缘预测；
S5：将S4的结果进行后处理，将边缘细化，通过非极大值抑制和双阈值连接以及杂点删除算法，实现像素级别的定位；
S6：将S4的结果进行亚像素精定位，基于Zernike矩5*5模板计算7*7模板系数，将其结果输入，实现亚像素定位；
S7：通过最小二乘法对S6的结果进行圆孔边缘拟合；
S8：将S7的像素物理尺寸通过S1标定的像素当量转化到物理尺寸；
S9：重复进行步骤S4-S8，便可实现不同圆孔的孔径测量。
2.根据权利要求1所述的基于HED模型和视觉测量的平面板件圆孔非接触测量方法，其特征在于：S1进行像素标定的过程中，相机标定的过程公式如(1)所示，
其中，L为图像尺寸，单位mm；P为像素尺寸，单位为pixel；k为像素当量。
3.根据权利要求1所述的基于HED模型和视觉测量的平面板件圆孔非接触测量方法，其特征在于：S2中HED模型具有以下特点：
a.HED网络是在VGG16的基础上，用2个3×3的卷积核来替代1个5×5的卷积核，用3个3×3的卷积核代表1个7×7的卷积核；
b.HED网络，通过多个Side output输出不同scale的边缘，然后通过一个训练的权重融合函数得到最终的边缘输出；
c.采用加权交叉熵损失函数，正样本分配更大的权值而负样本分配小的权重；
d.本次实验采用迁移学习，使用VGG16的预训练参数，在此基础上进行微调；优化器选取动量随机梯度下降算法SGD，学习率的调整采用动态调整方法，针对每个参数的学习率调整为初始化lr的n倍，如所示：
e.F-measure是全局最佳ODS阈值，这保证在所有数据集上得分最高；OIS表示的是单图最佳阈值，即每张图片的最优阈值；RP曲线，即精确率曲线，其中精确率Precision，召回率Recall，用来表示预测类别正确的像素总数和总像素数的比例，所示：
4.根据权利要求1所述的基于HED模型和视觉测量的平面板件圆孔非接触测量方法，其特征在于：S5中后处理的方法分别如下：
(1)非极大值抑制
具体的数学网络，设二维高斯函数如式(5)所示：
式中，(x,y)表示待处理像素点坐标值，σ为标准差；
在n方向的方向导数如所示：
其中，
n为方向矢量，
为梯度矢量；
将图像f(x,y)和Gn卷积，改变n的方向，当Gn*f(x,y)取最大值，即梯度方向；
当
时，Gn*f(x,y)如(8)所示：
则：
其中
的二维卷积可以分解为：
式中
为简化运算，令：
式中：
A(x,y)表示图像上(x,y)点的边缘强度，a(x,y)表示此处的法向矢量，再结合Canny算子定义，确定边缘点；
1)(x,y)点边缘强度大于梯度方向其他的边缘强度；
2)(x,y)点为中心3×3区域内其他像素点的边缘强度极大值小于阈值；
3)(x,y)点梯度方向上相邻的两点方向夹角不超过45度；
(2)双阈值连接和杂点剔除
经过非极大值抑制后的边缘在一定程度上存在边缘点，通过设置双阈值T1和T2,来剔除弱边缘，如式(12)所示；通过像素比较大于低像素小于高像素的边缘保留，大于高像素的设置为强边缘，被保留的像素边缘留下进行补充，保证最后的边缘的完整性，其中T1和T2根据情况而定：
5.根据权利要求1所述的基于HED模型和视觉测量的平面板件圆孔非接触测量方法，其特征在于：S6基于Zernike矩5*5模板计算7*7模板系数，实现亚像素精定位具体步骤：
S61：计算7*7模板M00、M11、M20、M31、M40；
S62：利用模板和图像的每一个像素点进行卷积运算得Z00、Z11、Z20、Z31和Z40；
S63：取一像素点，计算边缘角度
该角度方向垂直直线边缘；
S64：计算上述灰度值h、阶跃高度k、与中心到边缘的距离L；
S65：边缘点判断，设定阈值ki＝abs(k)>max(img(:))/5，a＝abs(l2-l1)＜1；
S66：否则,返回步骤Step3，取下一像素点计算。
6.根据权利要求1所述的基于HED模型和视觉测量的平面板件圆孔非接触测量方法，其特征在于：S7具体步骤：
S71：读取二值化图；
S72：搜索点集；
S73：将点集所有的点拟合圆；
S74：判断是否所有的边缘点半径的平方值小于阈值；
S75：输出半径和圆心坐标；
S76：否则，返回步骤S73。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210973410.9A CN115587963A (zh) | 2022-08-15 | 2022-08-15 | 一种基于hed模型和视觉测量的平面板件圆孔测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210973410.9A CN115587963A (zh) | 2022-08-15 | 2022-08-15 | 一种基于hed模型和视觉测量的平面板件圆孔测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115587963A true CN115587963A (zh) | 2023-01-10 |
Family
ID=84772211
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210973410.9A Pending CN115587963A (zh) | 2022-08-15 | 2022-08-15 | 一种基于hed模型和视觉测量的平面板件圆孔测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115587963A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880303A (zh) * | 2023-03-08 | 2023-03-31 | 杭州凌像科技有限公司 | 用于pcb板圆孔的亚像素精度定位检测方法及系统 |
-
2022
- 2022-08-15 CN CN202210973410.9A patent/CN115587963A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880303A (zh) * | 2023-03-08 | 2023-03-31 | 杭州凌像科技有限公司 | 用于pcb板圆孔的亚像素精度定位检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107657603B (zh) | 一种基于智能视觉的工业外观检测方法 | |
| CN112085735B (zh) | 一种基于自适应锚框的铝材质图像缺陷检测方法 | |
| CN111062915B (zh) | 一种基于改进YOLOv3模型的实时钢管缺陷检测方法 | |
| CN107341802B (zh) | 一种基于曲率与灰度复合的角点亚像素定位方法 | |
| US12001188B2 (en) | Methods and systems of fast optimization and compensation for volumetric positioning errors of rotary axes of five-axis CNC machine tools | |
| CN114627383B (zh) | 一种基于度量学习的小样本缺陷检测方法 | |
| CN109101966A (zh) | 基于深度学习的工件识别定位和姿态估计系统和方法 | |
| CN107369140A (zh) | 非结构化环境下的高精密靶球中心提取方法 | |
| CN108346144A (zh) | 基于计算机视觉的桥梁裂缝自动监测与识别方法 | |
| CN113012098B (zh) | 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法 | |
| CN108846415A (zh) | 工业分拣机器人的目标识别装置和方法 | |
| CN107622276B (zh) | 一种基于机器人仿真与物理采样结合的深度学习训练方法 | |
| CN115587963A (zh) | 一种基于hed模型和视觉测量的平面板件圆孔测量方法 | |
| CN107730500A (zh) | 一种瓷砖纹理检测方法、系统、装置及可读存储介质 | |
| CN109990711B (zh) | 一种冲孔镀镍钢带的外观质量检测方法 | |
| CN115937203B (zh) | 一种基于模板匹配的视觉检测方法、装置、设备及介质 | |
| CN104050660A (zh) | 一种测量工件圆形边缘的方法 | |
| CN106568365A (zh) | 一种球面孔系复合位置度误差的检测与评定方法 | |
| CN115752295A (zh) | 一种线激光轮廓仪自动手眼标定方法 | |
| CN104282001A (zh) | 增强图像特征二值描述子性能的方法 | |
| CN113799130B (zh) | 一种人机协作装配中的机器人位姿标定方法 | |
| CN111275684A (zh) | 一种基于多尺度特征提取的带钢表面缺陷检测方法 | |
| CN117103266A (zh) | 一种基于语义分割的飞机蒙皮特征识别与铣边路径规划方法 | |
| CN110969357A (zh) | 一种铝合金机加工零件孔洞视觉检测方法 | |
| Wang et al. | A binocular vision method for precise hole recognition in satellite assembly systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |