CN107328371A - 基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化 - Google Patents
基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化 Download PDFInfo
- Publication number
- CN107328371A CN107328371A CN201710362444.3A CN201710362444A CN107328371A CN 107328371 A CN107328371 A CN 107328371A CN 201710362444 A CN201710362444 A CN 201710362444A CN 107328371 A CN107328371 A CN 107328371A
- Authority
- CN
- China
- Prior art keywords
- metal plate
- sub
- image
- pix
- gaussian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及基于单目视觉钣金测量系统。在第一阶段,对图像进行畸变校正并对图像进行平滑操作,将钣金侧面的上下边缘进行过滤,并采用Canny算子对钣金像素级边缘检测;然后,根据得到的图像灰度梯度方向分布,提出基于高斯影响的亚像素偏移(GIM)算法,对边缘进行亚像素定位;之后再利用相机标定计算出的内外参对亚像素图像边缘进行平面信息真实比例的还原。第二阶段,基于高斯影响的轮廓提取流程应用到钣金轮廓检测的应用场景中,对图像进行了畸变校正、空间坐标系校正以还原图像轮廓真实信息。考虑由于模型误差和计算误差导致的亚像素定位偏移等因素,使用Softmax回归将提取到的亚像素轮廓再次校正,进而提升轮廓提取的精度。
Description
技术领域
本发明属于单目视觉钣金测量系统中提升测量精度领域,具体涉及提升轮廓精度方法。
背景技术
钣金是在工业中被加工成平面薄片的一种金属,具有强度高、屏蔽性强、成本低、易于批量生产等特点,在工业、航天业、汽车业、电子通信、医疗甚至家居等领域有着广泛的应用,是空调、冰箱、手机、电视的必不可少的原料之一。钣金经常被加工成各式各样的形状以满足产品的外观和功能需求。通常,同一钣金零件的厚度是均匀的,厚度范围在1mm到5mm之间且为整数,大多数钣金零件的外轮廓呈矩形。钣金零件加工是否合格一个重要的判别标准是其加工尺寸和设计尺寸的偏差程度。
传统的检测做法是使用游标卡尺等测量工具进行测量。工业中使用的游标卡尺精度大多为0.05mm,也有部分使用的精度为0.02mm,对于小型的部件(尺寸在500mm×500mm以下),可以使用游标卡尺较为准确的测量其外部轮廓和关键点的信息,经验丰富的生产线工人对这类零件的尺寸测量可将精度保持在0.1mm左右。然而,尺寸较大的钣金零件通常无法进行一次性测量,即使使用市面上3m及3m以上量程的游标卡尺,其测量效率也十分低下,并会很大程度的影响测量精度。
单目视觉在目前的图像处理领域应用广泛,它使用一台视觉传感器来进行拍摄,这种方法结构简单,相机标定简单,算法也相对比较简单,而且能得到较好的效果,甚至在某些领域效果更加显著。基于单目视觉的钣金零件测量系统就是用来避免传统使用游标卡尺进行测量的诸多弊端。国内外近年来出现了很多的基于该类技术的商业产品,技术成熟,功能也十分的全面。这类产品配套的硬件设备操作简单方便,测量时间较快,测量结果也较为精确。并且考虑了相机模型、镜头畸变、光照强度等因素,通过各类模型真实的还原了钣金轮廓。
机器学习作为近年来人工智能领域,乃至计算机领域相当热门的技术,在许多领域有着十分广泛的应用。目前机器学习的理论研究和相关技术都非常的成熟。它是一种多领域交叉学科,拟在研究出利用机器来模拟与人类学习行为相似的行为,使得机器有着自我学习和优化的功能,并可以获得新的知识,不断完善自身。作为人工智能的核心,机器学习会利用现有数据和先验的经验来优化自身。一般情况下,机器学习的过程就是,首先我们把学习的信息提供给系统的学习部分,接着计算机通过对训练集的学习来修改自身的知识库,增进自身的各项效能,最后,更好地执行根据知识库完成的任务,并将结果反馈给训练部分。
发明内容
本发明基于单目视觉的钣金测量系统中获取钣金零件的二维真实轮廓,针对拍摄图的单双边缘共存、钣金区域与背景区域分离、存在畸变现象、拍摄平面与钣金平面不完全平行等特点,利用边缘检测算法但又不限于以此作为钣金零件的真实边界。本发明的主要内容如下:
1)使用单目视觉钣金测量系统获取到的图像为二维图像,受拍摄角度、拍摄距离以及相机本身的影响,带有一定的畸变并且无法表示真实的尺寸信息。本发明利用相机标定所得到的的相机内参和外参等信息对畸变图像进行校正,并利用真实相机坐标系和虚拟相机坐标系之间的转换还原轮廓的真实尺寸和轮廓点的真实位置。
2)采用图像处理的方式提取高精度轮廓点。针对钣金检测中拍摄图像的背景区域与钣金区域分离的特殊性,提出了基于高斯影响的亚像素偏移算法,在已知背景区域和钣金区域的灰度值的前提下,利用像素点的灰度值和灰度梯度方向使用该算法快速高效的对像素级边缘点进行亚像素级定位。
3)采用机器学习进一步提高轮廓点提取精度。为了能够让提取到的轮廓点达到更好的精度,分析轮廓提取过程中使用到的模型和计算所带来的误差,对可能对轮廓点造成偏移的因素进行分析建模,以此作为特征空间,引入Softmax回归来对轮廓提取的结果进行优化。
附图说明
图1为空间坐标系矫正示意图。
图2为二值函数增加高斯影响的示意图。
图3为本发明的Softmax回归训练运行过程示意图。
图4为本发明的效果对比示意图。
具体实施方式
1)空间坐标系矫正
如图1所示,已知轮廓点p(u,v),首先需要求得其在三维坐标系中的位置,若要对二维点进行三维空间的映射,需要借助平面F,相机坐标系的O点与p连线过平面F的焦点即为p的三维坐标系中的位置。令F为以相机坐标系为基准的钣金平台平面,现要求得其表达式。在此引入方格标定板作为辅助工具来检测,用于获取F平面上的物理标尺以及与成像平面的夹角信息,也即平移向量T和旋转矩阵R。在此建立世界坐标系,以标定板的左下角角点为原点,角点向右方向为x方向,角点向上方向为y方向,垂直于标定板平面向上的方向为z方向。
在此默认已经对相机的内参进行标定并求得相应的内参。点p(u,v)在成像平面上的物理坐标为:在点O与点p连接线上与其延长线OP上的任意一点M(XC,YC,ZC)都可以讲图像物理坐标映射为(x,y),当且仅当
将OP与面F的交点作为轮廓点p在三维坐标系中的映射点。将该点利用进行平移旋转的逆操作得到其在世界坐标系中的坐标P(XW,YW,ZW)。由于M(XC,YC,ZC)是在F平面上,而F平面正好是世界坐标系中的XOY平面,因此求得的Zw=0,也即世界坐标系坐标为P(XW,YW,1)。此时令P′为P点在XOY平面的映射点,则P′=((XW,YW)。P′即为经过空间坐标系校正后的点。
2)轮廓计算
初始化变量钣金区域灰度值Lsum和背景区域灰度值Hsum以及相应的像素个数和Hn,并引入状态变量state。state表示当前正在背景区域中1或是在钣金区域中0,初始化为1。对灰度图Ggray自左向右、自上向下进行遍历,若state=1,则Lsum增加当前像素的灰度值,且Ln自增1,否则Hsum增加当前像素的灰度值,且Hn自增1。遍历过程中,当前后两个像素坐标在图Gcanny分别为轮廓点和非轮廓点时,反转state的值。重复此过程,直到遍历完整张灰度图,得到H=Hsum/Hn和L=Lsum/Ln。将L和H的值分别作为二值曲线的下限和上限,分段函数表达式为将高斯的影响加入真实边缘的二值函数,如图2,则边缘处的灰度值沿梯度方向的变化函数G(n)表达式为G(d)=L+(H-L)·其中自变量d表示梯度方向上的像素坐标和亚像素坐标的直线距离,L和H表示钣金区域和背景区域的灰度值平均值,sgn(x)为标准0-1分段函数,σ表示高斯影响因子,σ值越大,对目标像素点提取时,周围灰度值对其灰度值的影响越大。
由于图像的Gr(x)的分布值是离散的,可取有限的x的取值集合,令每一个x满足G(x-d)=Gr(x),求得d,最后将所有的d值取平均值dave。则P在灰度梯度方向α上移动的坐标为从而,求得亚像素坐标(x+diffX,y+diffY)。
3)Softmax回归优化。
由于受到轮廓提取模型本身的限制以及计算过程中带来的一些的误差,并不能完全保证提取到的轮廓与真实值完全相等。而我们除了拥有大量的标准钣金件的拍摄图作为原始数据,还拥有相应的设计图,在这里可以理解为真实值,利用机器视觉测量出图像中的钣金轮廓便有了“最终目标”。经过图形匹配后建立了钣金轮廓与相应CAD图形元素的对应关系,可以认为通过图像提取到的轮廓点有理论上的真实坐标位置。值得注意的是:在实际应用的过程中,虽然每一张钣金的拍摄图都有其对应的CAD图,但并不能主观的将每一个轮廓点贴近CAD图,这是由于受加工工艺限制,钣金的实际轮廓并不一定能和CAD图完全重合。
使用Softmax回归进行优化的目的是提高钣金轮廓与CAD图的匹配度,即令式取得最小值。轮廓提取的过程使用的策略为使用畸变模型、针孔模型以及边缘检测等方法尽可能的还原由钣金到图像的整个变换过程,让轮廓上的所有的点接近真实值。将以每一个轮廓点及其相应真实点作为训练单元,将真实点和偏差点之间的距离作为训练集中的输出空间,将影响真实点移动到偏差点的因素一个作为训练集中的特征,依次对每幅图中每组训练单元进行训练并建立模型,具体过程如图3所示。也就是说,为了使所有轮廓点与CAD图形元素的距离之和尽可能的最小,采用单点的方式让轮廓点接近CAD图,即减小n个点中每一个距离dist(mi,minMi(C))。
4)回归优化效果展示
图4为经过对训练集训练之后对测试集的校正效果数据。训练过程耗时55.806s,测试集的计算过程耗时0.238s。测试集的计算结果分为两组:第一组为当θ的取值范围为(-π/2,π/2)时的轮廓点集,第二组为θ取值范围为(-π/2,π/2)之外的轮廓点集。对比指标中,SDIV为测试集中轮廓点到CAD图的输出值的平均值,MAE为对测试集利用模型计算出的预测值的平均值与SDIV的差值,而MASR表示回归优化对结果优化的比率,公式为MSE为测试集利用模型计算出的预测值与轮廓点到CAD图的输出值的平局值差值的平均方差,RMSE为测试集利用模型计算出的预测值与轮廓点到CAD图的输出值的平局值差值的平均方差的平方。ACCU为对轮廓点偏移亚像素值的预测准确率,假设为随机预测,该值应为1/(2/Pr+1)=4.76%。结果显示,使用回归优化之后,对轮廓点的精度定位有一定的提高,并且,对相机可以拍摄到钣金轮廓侧面的部分,使用Softmax回归之后效果要优于拍摄不到轮廓侧面的部分。
Claims (3)
1.单目视觉钣金测量系统是通过单目视觉方式对钣金的加工合格性进行检测,为了提高检测效果,需要提高轮廓的提取精度,其特征在于提出了亚像素级的边缘检测算法和使用机器学习方式对精度进行进一步提高。
2.根据权利1所述的亚像素级边缘检测算法,其特征在于对单目视觉钣金测量系统中的图像的特点,通过将高斯映像加入真实边缘的灰度变换函数从而还原亚像素边缘的真实产生过程。
3.根据权利2所述的使用机器学习的方式对轮廓提取精度提高,其特征在于构建Softmax回归模型,对模型中的特征向量空间进行定义并对输出空间进行计算。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710362444.3A CN107328371A (zh) | 2017-05-22 | 2017-05-22 | 基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710362444.3A CN107328371A (zh) | 2017-05-22 | 2017-05-22 | 基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107328371A true CN107328371A (zh) | 2017-11-07 |
Family
ID=60193822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710362444.3A Pending CN107328371A (zh) | 2017-05-22 | 2017-05-22 | 基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107328371A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949328A (zh) * | 2019-03-22 | 2019-06-28 | 大连大学 | 一种激光焊待焊件图像中直线边缘上矩形域灰度计算方法 |
CN115830018A (zh) * | 2023-02-14 | 2023-03-21 | 山东科技大学 | 基于深度学习与双目视觉的碳素块检测方法及系统 |
CN117173389A (zh) * | 2023-08-23 | 2023-12-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
CN117333677A (zh) * | 2023-12-01 | 2024-01-02 | 吉奥时空信息技术股份有限公司 | 一种建筑物矢量轮廓提取方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104089575A (zh) * | 2014-07-02 | 2014-10-08 | 北京东方迈视测控技术有限公司 | 智能平面检测仪及检测方法 |
CN104359403A (zh) * | 2014-11-21 | 2015-02-18 | 天津工业大学 | 基于亚像素边缘算法的平面零件尺寸测量方法 |
CN106023220A (zh) * | 2016-05-26 | 2016-10-12 | 史方 | 一种基于深度学习的车辆外观部件图像分割方法 |
CN106504248A (zh) * | 2016-12-06 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 基于计算机视觉的车辆损伤判别方法 |
-
2017
- 2017-05-22 CN CN201710362444.3A patent/CN107328371A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104089575A (zh) * | 2014-07-02 | 2014-10-08 | 北京东方迈视测控技术有限公司 | 智能平面检测仪及检测方法 |
CN104359403A (zh) * | 2014-11-21 | 2015-02-18 | 天津工业大学 | 基于亚像素边缘算法的平面零件尺寸测量方法 |
CN106023220A (zh) * | 2016-05-26 | 2016-10-12 | 史方 | 一种基于深度学习的车辆外观部件图像分割方法 |
CN106504248A (zh) * | 2016-12-06 | 2017-03-15 | 成都通甲优博科技有限责任公司 | 基于计算机视觉的车辆损伤判别方法 |
Non-Patent Citations (1)
Title |
---|
耿磊等: "上下边缘区分的平面钣金零件尺寸测量方法", 《红外与激光工程》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109949328A (zh) * | 2019-03-22 | 2019-06-28 | 大连大学 | 一种激光焊待焊件图像中直线边缘上矩形域灰度计算方法 |
CN109949328B (zh) * | 2019-03-22 | 2021-04-02 | 大连大学 | 一种激光焊待焊件图像中直线边缘上矩形域灰度计算方法 |
CN115830018A (zh) * | 2023-02-14 | 2023-03-21 | 山东科技大学 | 基于深度学习与双目视觉的碳素块检测方法及系统 |
CN117173389A (zh) * | 2023-08-23 | 2023-12-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
CN117173389B (zh) * | 2023-08-23 | 2024-04-05 | 无锡芯智光精密科技有限公司 | 一种基于轮廓匹配的固晶机视觉定位方法 |
CN117333677A (zh) * | 2023-12-01 | 2024-01-02 | 吉奥时空信息技术股份有限公司 | 一种建筑物矢量轮廓提取方法 |
CN117333677B (zh) * | 2023-12-01 | 2024-04-16 | 吉奥时空信息技术股份有限公司 | 一种建筑物矢量轮廓提取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111640157B (zh) | 一种基于神经网络的棋盘格角点检测方法及其应用 | |
CN104851104B (zh) | 采用柔性靶标高速摄相机近景大视场标定方法 | |
CN111784778B (zh) | 基于线性求解非线性优化的双目相机外参标定方法和系统 | |
CN103047943B (zh) | 基于单投射编码结构光的车门外板形状尺寸检测方法 | |
CN101673397B (zh) | 一种基于lcd的数码相机非线性标定方法 | |
CN107328371A (zh) | 基于高斯影响的亚像素轮廓提取及利用Softmax回归在钣金检测场景下的优化 | |
CN105261022B (zh) | 一种基于外轮廓的pcb板卡匹配方法及装置 | |
CN101137003B (zh) | 一种基于灰色关联分析的亚像素边缘提取方法 | |
CN103048331B (zh) | 基于柔性模板配准的印刷缺陷检测方法 | |
CN104899609B (zh) | 一种基于图像配准的机械式表计识别方法 | |
CN105678757B (zh) | 一种物体位移测量方法 | |
CN103824050A (zh) | 一种基于级联回归的人脸关键点定位方法 | |
CN103530880A (zh) | 基于投影高斯网格图案的摄像机标定方法 | |
CN113724193B (zh) | Pcba零部件尺寸及间隙高精度视觉测量方法 | |
CN103345755A (zh) | 一种基于Harris算子的棋盘格角点亚像素提取方法 | |
CN112396643A (zh) | 一种尺度不变特征与几何特征融合的多模态高分影像配准方法 | |
CN106936964A (zh) | 一种基于霍夫变换模板匹配的手机屏幕角点检测方法 | |
CN104048815A (zh) | 一种测量透镜畸变的方法及系统 | |
CN111768447A (zh) | 一种基于模板匹配的单目相机物体位姿估计方法及系统 | |
JP2019091493A (ja) | ビジョンシステムで画像内のプローブを効率的に採点するためのシステム及び方法 | |
CN107798698A (zh) | 基于灰度修正与自适应阈值的结构光条纹中心提取方法 | |
CN208254424U (zh) | 一种激光盲孔深度检测系统 | |
CN106529548A (zh) | 亚像素级的多尺度Harris角点检测算法 | |
Peng et al. | Simultaneous perimeter measurement for 3D object with a binocular stereo vision measurement system | |
CN103955687B (zh) | 一种基于质心法的光斑图像中心的快速定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171107 |