CN107238374A - 一种不规则平面零件的分类和识别定位方法 - Google Patents

一种不规则平面零件的分类和识别定位方法 Download PDF

Info

Publication number
CN107238374A
CN107238374A CN201710307447.7A CN201710307447A CN107238374A CN 107238374 A CN107238374 A CN 107238374A CN 201710307447 A CN201710307447 A CN 201710307447A CN 107238374 A CN107238374 A CN 107238374A
Authority
CN
China
Prior art keywords
mrow
msub
mtd
munderover
mtr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710307447.7A
Other languages
English (en)
Other versions
CN107238374B (zh
Inventor
邹湘军
司徒伟明
王成琳
曹晓曼
李锦慧
陈明猷
张远琴
陈雄
贾春洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Agricultural University
Original Assignee
South China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Agricultural University filed Critical South China Agricultural University
Priority to CN201710307447.7A priority Critical patent/CN107238374B/zh
Publication of CN107238374A publication Critical patent/CN107238374A/zh
Application granted granted Critical
Publication of CN107238374B publication Critical patent/CN107238374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Abstract

本发明公开了一种不规则平面零件的分类和识别定位方法，是采用双目立体视觉系统，通过对相机标定后获取的左右图像进行立体匹配以获得视差图，并根据三角测量原理将视差图转换为三维点云数据。本发明的计算效率高，方法稳定和精度高。

Description

一种不规则平面零件的分类和识别定位方法
技术领域
本发明涉及机械领域，特别涉及一种不规则平面零件的分类和识别定位方法。
背景技术
目前工业机器人大多只能执行预设的指令动作，缺乏对作业环境的感知和应变能力，条件恶劣及复杂多变的作业环境极大地限制了机器人的应用。给工业机器人配备视觉系统，能够减少对机器人的运动轨迹规划以及离线编程，减少编程时间，提高生产效率。准确区分零件的种类以及对零件进行精准三维定位是视觉工业机器人准确抓取的一个重要前提，直接影响到加工零件的质量。在生产环境中，经常是多种零件混杂一起、位姿也各不相同，对于外形不规则的零件来说，定位尤为困难。目前主要是根据具体零件的形状和大小进行针对性定位设计，如在零件上做标记或制作专用定位模具，这种定位方法的生产成本高，定位繁琐，通用性不强。
发明内容
本发明的目的在于克服现有技术中存在的缺点，提供一种通用性好、定位精度高、稳定性好、成本低的不规则平面零件的分类和识别定位方法。
本发明的目的通过下述技术方案实现：
一种不规则平面零件的分类和识别定位方法，是采用双目立体视觉系统，通过对相机标定后获取的左右图像进行立体匹配以获得视差图，并根据三角测量原理将视差图转换为三维点云数据，具体包括下述步骤：
(1)识别零件类型：使用双目立体视觉系统获取待测零件的图像，包括左图像和右图像，然后通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型；
(2)获取视差图：使用凸多边形包围左图像的待测零件，计算凸多边形的质心，并以该质心为圆心绘制最大内切圆，然后以一定的比例因子绘制该内切圆的同心圆，再利用双目立体视觉系统获得该同心圆所在区域的视差图；
(3)平面拟合：将视差图转化为三维点云，再使用最小二乘算法对三维点云拟合平面，得到平面方程；
(4)待测零件的识别定位：利用所述平面方程，计算待测零件的三维位置和零件表面的平面法向量，进行识别定位。
步骤(1)中，所述通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型，是采用形状匹配算法，具体识别步骤是：首先，创建每种零件的模板图像，制作图像模板库，同时假定左图像中存在位姿各异的各种零件；其次，在左图像中移动并以给定的旋转角度多次旋转模板图像，并多次计算模板图像与左图像的待匹配区域的相似度；找出该模板匹配时最大的相似度，对所有模板图像重复前面的操作，找出相似度最大时对应的模板零件类型作为待测零件的类型。
所述旋转角度是根据零件边缘的复杂程度、精度要求以及效率进行设定。旋转角度越小，则匹配精度越高，但匹配时间越长。如果零件的边缘较为平滑简单，可适当加大模板图像的旋转角度以提高效率。旋转角度优选1～5°。
所述相似度是指模板图像与左图像的匹配区域的对应位置的灰度平方差，具体表示为：假定用T表示模板图像，其中用T(x’,y’)表示模板图像任意点(x’,y’)的灰度值；同样地，用I表示左图像，其中用I(x,y)表示左图像任意点(x,y)的灰度值；相似度表示为：
式(1)中：n表示模板图像像素点的数量，R(x,y)表示左图像I上任一点(x,y)的相似度值，(x’,y’)指模板图像T中某一点的坐标。
步骤(2)中，所述的视差图，其获取方法如下：
(2-1)用凸多边形最小化包围步骤(1)识别出的零件；
(2-2)计算凸多边形的质心在左图像中的坐标；
(2-3)以所述质心为圆心绘制最大内切圆；
(2-4)以一定比例因子绘制上述内切圆的同心圆；
(2-5)利用双目立体视觉系统获得该同心圆所在区域的视差图。
所述的比例因子为最大内切圆半径的倍率，根据零件边缘的凹陷情况选择合适的比例因子，其大小在0～1之间，优选0.5～0.8。
其中，计算凸多边形的质心在左图像中的坐标，是采用下述方法：
(2-2-1)几何学中，三角形的重心为三条中线的交点，假定三角形三个顶点坐标(顺时针)依次为(x1,y1),(x2,y2),(x3,y3),重心坐标为(xg,yg),三角形的面积为S，有：
假定某均质物体的形状为三角形，不妨认为物体的质量就是三角形的面积，则质心抽象为三角形的重心；假定平面上有两个质点A和B，坐标分别为(xa,ya),(xb,yb),质量分别为ma和mb,这两点组成的系统的质心坐标为(xab,yab),质量为mab,则有：
mab＝ma+mb (7)
(2-2-2)对于任意凸多边形均可将它完全划分为三角形，假定凸多边形的顶点按顺时针依次为P1(x1,y1)，P2(x2,y2)，P3(x3,y3),......Pn(xn,yn)，可将凸多边形分成ΔP1P2P3,ΔP1P3P4,ΔP1P4P5……ΔP1Pn-1Pn；
(2-2-3)根据上述公式，凸多边形的质心可通过递推的方法得出：先求ΔP1P2P3和ΔP1P3P4,各自的质心坐标和面积，再求ΔP1P2P3与ΔP1P3P4组合质心坐标和面积，然后求ΔP1P4P5的质心坐标和面积，再求ΔP1P2P3，ΔP1P3P4与ΔP1P4P5组合质心坐标和面积，直到求出ΔP1P2P3,ΔP1P3P4,ΔP1P4P5……ΔP1Pn-2Pn-1与ΔP1Pn-1Pn组合的质心坐标，最终得到的质心坐标则为所求凸多边形的质心坐标。
以质心为圆心绘制最大内切圆，采用的方法是：
(2-3-1)平面内直线方程采用一般直线方程a·x+b·y+c＝0表示，同一平面内的点(x0,y0)到该直线的距离d为：
(2-3-2)将凸多边形某相邻顶点坐标代入一般直线方程，求出经过这两相邻顶点的直线方程的系数a,b和c，将算出的质心坐标代入式(8)，算出质心到该直线的距离；
(2-3-3)按照上述的方法算出质心到凸多边形所有边长的距离，则距离最小值为最大内切圆的半径；假定凸多边形的质心坐标为(x0,y0),距离最小值为d0,该内切圆可表示为：
实际应用过程中，如果将零件所在区域的视差图直接转换成三维点云，会存在很多离群点，且大多出现在零件的边缘处，因为零件的边缘存在距离的突变。对零件进行凸多边形包围后再求最大内切圆，在相切处也可能存在部分零件的边缘。以一定的比例因子η绘制同心圆，所述比例因子η的取值范围为0～1，再将同心圆所在区域的视差图转换为三维点云的方法能够有效去除离群点，提高后续平面拟合的准确性。根据公式(9)，同心圆的方程可表示为：
(x-x0)2+(y-y0)2＝(ηd0)2 (10)
所述同心圆所在区域的视差图的获取方法为：首先利用双目立体视觉系统获得与左图像一样大小的整张视差图，将视差图中像素点的坐标代入上述同心圆方程的左边，将得到的数值与同心圆半径的二次方比较大小，当数值大于同心圆半径的二次方时，则将该像素点的视差值赋值为0，当数值小于或等于同心圆半径的二次方时，则该像素点的视差值保持不变；对整张视差图的像素点做上述运算，得到同心圆所在区域的视差图。
步骤(3)中，所述平面拟合的具体步骤如下：
(3-1)利用式(11)将视差图中像素点的坐标(u,v)以及视差值d转换为左相机坐标系下(双目立体视觉的坐标系为立体校正后左相机的坐标系)的三维点云坐标(X,Y,Z)：
式(11)中，(ox,oy)是左相机光轴中心(即左相机坐标系的Z轴与左图像的交点)在左图像中的像素坐标，f是立体校正后相机焦距(立体校正后左右相机具有相同的焦距f)，TX是左右相机的基线距离(基线距离为立体校正后左相机坐标系Z轴与右相机坐标系Z轴的距离)，这三个参数可通过对双目立体视觉系统进行立体标定来确定；
(3-2)然后使用最小二乘算法拟合三维点云中的平面，具体步骤如下：
(3-2-1)平面方程的一般表达式为：A·x+B·y+C·z+D＝0，(C≠0)，即：
令则：
z＝a0·x+a1·y+a2 (13)
(3-2-2)用点(xi,yi,zi),i＝0,1,2,…,n拟合计算上述平面方程，则需要使S最小：
(3-2-3)要使得S最小，应满足：k＝0,1,2,即：
则有：
解上述方程组，就可得出平面方程z＝a0·x+a1·y+a2。
步骤(4)中，所述计算待测零件的三维位置和零件表面的平面法向量，具体方法如下：
(4-1)将步骤(2)得到的凸多边形的质心坐标代入步骤(3)得到的平面，可以计算出零件的三维坐标(x,y,z)；
(4-2)对于一般平面方程：A·x+B·y+C·z+D＝0，(C≠0)，其法向量步骤(3)得到拟合的平面方程为z＝a0·x+a1·y+a2；因此，零件表面的平面法向量可以表示为：单位化后为：
本发明与现有技术相比具有如下优点和效果：
(1)本发明采用模板匹配算法对零件进行分类识别，计算效率高。
(2)本发明采用零件的视差图来计算零件的三维位置和法向量，方法稳定和精度高。
(3)本发明通过对零件所在区域使用凸多边形包围，计算出凸多边形的质心，并以该质心为圆心绘制最大内切圆及同心圆，最后求出同心圆所在区域的视差图，这种方法能够有效去除离群点，提高后续平面拟合的准确性。
(4)本发明使用最小二乘算法拟合点云数据，得到平面方程，并根据平面方程计算零件的三维位置和法向量，本方法能够准确地拟合出三维点云中的平面，在不影响拟合结果的前提下去除大量的三维点云数据，运算速度快。
附图说明
图1为本发明的流程图。
图2为本发明的识别零件类型示意图。
图3为本发明的平面拟合示意图。
图4为本发明的拟合平面和点云的X-Y视图。
图5为本发明的拟合平面和点云的X-Z视图。
图6为本发明的拟合平面和点云的Y-Z视图。
图7为本发明的待测零件的定位结果示意图。
图8为本发明的待测零件的定位结果的X-Z视图。
具体实施方式
下面结合实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例1
如图1所示，是本发明一种不规则平面零件的分类和识别定位方法的流程图。
首先，使用双目立体视觉系统获取零件图像；使用模板匹配算法将左图像中的待测零件图像与图像模板库进行匹配，确定零件的类型；然后，使用凸多边形包围零件，计算凸多边形质心，并绘制最大内切圆，再以最大内切圆半径的0.8倍比例因子绘制同心圆；使用双目立体视觉系统获取同心圆所在区域的视差图；利用公式(11)将视差图转换成三维点云；使用最小二乘算法拟合三维点云中的平面；最后，根据平面方程来计算零件的三维位置和平面法向量。
具体步骤如下：
步骤(1)：创建每种零件的模板图像，建立零件图像模板库，使用模板匹配算法识别左图像中待测零件，图2为识别零件类型示意图，其中共有4个零件均被识别出来，分为3种不同的零件：第1种零件有2个，用A1和A2表示；第2种零件有1个，用B1表示；第3种零件有1个，用C1表示。
步骤(2)：对识别出来的零件使用凸多边形包围，计算出各自的质心，绘制各自的最大内切圆，以最大内切圆半径的0.8倍绘制各自的同心圆，如图2所示，然后使用双目立体视觉系统依次获取各同心圆所在区域的视差图。
步骤(3)：利用公式(11)将得到的视差图转化为三维点云，再使用最小二乘算法对三维点云进行拟合平面，得到平面方程，如图3所示，黑色为点云数据，灰色为拟合的平面。图4为拟合平面和点云的X-Y视图，图5为拟合平面和点云的X-Z视图，图6为拟合平面和点云的Y-Z视图，从这几个图可看出拟合的平面出现在大部分点云聚集的区域内。
步骤(4)：将步骤(2)得到的凸多边形质心坐标代入步骤(3)得到的平面计算出零件质心的三维坐标。根据平面方程的系数使用公式(17)计算平面的法向量。图7是待测零件的定位结果示意图，其中的灰色直线为所求平面法向量。图8是待测零件的定位结果的X-Z视图。
从图8可以看出大部分的点云聚集在高度为373～375mm之间，部分点云则偏离这个区域，但对平面的拟合影响不大，计算出来的平面能够准确地拟合到这个大部分点云聚集的区域，从图8的X轴上可看出同心圆的直径大概有53mm，而拟合平面附近上下的点云之间的高度间距只有1～2mm，可以说明这样的拟合效果是准确有效的。

Claims (9)

1.一种不规则平面零件的分类和识别定位方法，其特征在于：是采用双目立体视觉系统，通过对相机标定后获取的左右图像进行立体匹配以获得视差图，并根据三角测量原理将视差图转换为三维点云数据，包括下述步骤：
(1)识别零件类型：使用双目立体视觉系统获取待测零件的图像，包括左图像和右图像，然后通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型；
(2)获取视差图：使用凸多边形包围左图像的待测零件，计算凸多边形的质心，并以该质心为圆心绘制最大内切圆，然后以一定的比例因子绘制该内切圆的同心圆，再利用双目立体视觉系统获得该同心圆所在区域的视差图；
(3)平面拟合：将视差图转化为三维点云，再使用最小二乘算法对三维点云拟合平面，得到平面方程；
(4)待测零件的识别定位：利用所述平面方程，计算待测零件的三维位置和零件表面的平面法向量，进行识别定位。
2.根据权利要求1所述的不规则平面零件的分类和识别定位方法，其特征在于：步骤(1)中，所述通过零件图像模板库对左图像待测零件进行匹配，识别零件的类型，是采用形状匹配算法，具体识别步骤是：首先，创建每种零件的模板图像，制作图像模板库，同时假定左图像中存在位姿各异的各种零件；其次，在左图像中移动并以给定的旋转角度多次旋转模板图像，并多次计算模板图像与左图像的待匹配区域的相似度；找出该模板匹配时最大的相似度，对所有模板图像重复前面的操作，找出相似度最大时对应的模板零件类型作为待测零件的类型。
3.根据权利要求2所述的不规则平面零件的分类和识别定位方法，其特征在于：所述相似度是指模板图像与左图像的匹配区域的对应位置的灰度平方差，具体表示为：假定用T表示模板图像，其中用T(x’,y’)表示模板图像任意点(x’,y’)的灰度值；同样地，用I表示左图像，其中用I(x,y)表示左图像任意点(x,y)的灰度值；相似度表示为：
<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>x</mi> <mo>,</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>,</mo> </msup> <mo>&amp;Element;</mo> <mi>T</mi> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>(</mo> <mi>T</mi> <mo>(</mo> <mrow> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>-</mo> <mi>I</mi> <mo>(</mo> <mrow> <mi>x</mi> <mo>+</mo> <msup> <mi>x</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msup> <mi>y</mi> <mo>&amp;prime;</mo> </msup> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
式(1)中：n表示模板图像像素点的数量，R(x,y)表示左图像I上任一点(x,y)的相似度值，(x’,y’)指模板图像T中某一点的坐标。
4.根据权利要求1所述的不规则平面零件的分类和识别定位方法，其特征在于：步骤(2)中，所述的视差图，其获取方法如下：
(2-1)用凸多边形最小化包围步骤(1)识别出的零件；
(2-2)计算凸多边形的质心在左图像中的坐标；
(2-3)以所述质心为圆心绘制最大内切圆；
(2-4)以一定比例因子绘制上述内切圆的同心圆；
(2-5)利用双目立体视觉系统获得该同心圆所在区域的视差图。
5.根据权利要求4所述的不规则平面零件的分类和识别定位方法，其特征在于：以质心为圆心绘制最大内切圆，采用的方法是：
(2-3-1)平面内直线方程采用一般直线方程a·x+b·y+c＝0表示，同一平面内的点(x0,y0)到该直线的距离d为：
<mrow> <mi>d</mi> <mo>=</mo> <mfrac> <mrow> <mo>|</mo> <mi>a</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>+</mo> <mi>b</mi> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>+</mo> <mi>c</mi> <mo>|</mo> </mrow> <msqrt> <mrow> <msup> <mi>a</mi> <mn>2</mn> </msup> <mo>+</mo> <msup> <mi>b</mi> <mn>2</mn> </msup> </mrow> </msqrt> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
(2-3-2)将凸多边形某相邻顶点坐标代入一般直线方程，求出经过这两相邻顶点的直线方程的系数a,b和c，将算出的质心坐标代入式(8)，算出质心到该直线的距离；
(2-3-3)按照上述的方法算出质心到凸多边形所有边长的距离，则距离最小值为最大内切圆的半径；假定凸多边形的质心坐标为(x0,y0),距离最小值为d0,该内切圆可表示为：
<mrow> <msup> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <msub> <mi>x</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <msub> <mi>y</mi> <mn>0</mn> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>=</mo> <msubsup> <mi>d</mi> <mn>0</mn> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
6.根据权利要求4所述的不规则平面零件的分类和识别定位方法，其特征在于：所述以一定的比例因子绘制内切圆的同心圆，所述比例因子的取值范围为0～1。
7.根据权利要求4所述的不规则平面零件的分类和识别定位方法，其特征在于：所述同心圆所在区域的视差图的获取方法为：首先利用双目立体视觉系统获得与左图像一样大小的整张视差图，将视差图中像素点的坐标代入上述同心圆方程的左边，将得到的数值与同心圆半径的二次方比较大小，当数值大于同心圆半径的二次方时，则将该像素点的视差值赋值为0，当数值小于或等于同心圆半径的二次方时，则该像素点的视差值保持不变；对整张视差图的像素点做上述运算，得到同心圆所在区域的视差图。
8.根据权利要求1所述的不规则平面零件的分类和识别定位方法，其特征在于：步骤(3)中，所述平面拟合的具体步骤如下：
(3-1)利用式(11)将视差图中像素点的坐标(u,v)以及视差值d转换为左相机坐标系下(双目立体视觉的坐标系为立体校正后左相机的坐标系)的三维点云坐标(X,Y,Z)：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>X</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>u</mi> <mo>-</mo> <msub> <mi>o</mi> <mi>x</mi> </msub> <mo>)</mo> <mo>&amp;CenterDot;</mo> <mi>Z</mi> </mrow> <mi>f</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Y</mi> <mo>=</mo> <mfrac> <mrow> <mo>(</mo> <mi>v</mi> <mo>-</mo> <msub> <mi>o</mi> <mi>y</mi> </msub> <mo>)</mo> <mo>&amp;CenterDot;</mo> <mi>Z</mi> </mrow> <mi>f</mi> </mfrac> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>Z</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>T</mi> <mi>x</mi> </msub> <mo>&amp;CenterDot;</mo> <mi>f</mi> </mrow> <mi>d</mi> </mfrac> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
式(11)中，(ox,oy)是左相机光轴中心在左图像中的像素坐标，f是立体校正后相机焦距，TX是左右相机的基线距离，这三个参数可通过对双目立体视觉系统进行立体标定来确定；
(3-2)然后使用最小二乘算法拟合三维点云中的平面，具体步骤如下：
(3-2-1)平面方程的一般表达式为：A·x+B·y+C·z+D＝0，(C≠0)，即：
<mrow> <mi>z</mi> <mo>=</mo> <mo>-</mo> <mfrac> <mi>A</mi> <mi>C</mi> </mfrac> <mo>&amp;CenterDot;</mo> <mi>x</mi> <mo>-</mo> <mfrac> <mi>B</mi> <mi>C</mi> </mfrac> <mo>&amp;CenterDot;</mo> <mi>y</mi> <mo>-</mo> <mfrac> <mi>D</mi> <mi>C</mi> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
令则：
z＝a0·x+a1·y+a2 (13)
(3-2-2)用点(xi,yi,zi),i＝0,1,2,…,n拟合计算上述平面方程，则需要使S最小：
<mrow> <mi>S</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow> 2
(3-2-3)要使得S最小，应满足：k·＝0,1,2,即：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <mn>2</mn> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mrow> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <mn>2</mn> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mrow> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <mn>2</mn> <mo>&amp;CenterDot;</mo> <mrow> <mo>(</mo> <mrow> <msub> <mi>a</mi> <mn>0</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>1</mn> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>+</mo> <msub> <mi>a</mi> <mn>2</mn> </msub> <mo>-</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> </mrow> <mo>)</mo> </mrow> <mo>=</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
则有：
<mrow> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msubsup> <mi>x</mi> <mi>i</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> </mrow> </mtd> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> </mrow> </mtd> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msubsup> <mi>y</mi> <mi>i</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>y</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> </mrow> </mtd> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>y</mi> <mi>i</mi> </msub> </mrow> </mtd> <mtd> <mrow> <mi>n</mi> <mo>+</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>0</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>1</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>2</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>=</mo> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>&amp;CenterDot;</mo> <msub> <mi>z</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>i</mi> <mo>=</mo> <mn>0</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>z</mi> <mi>i</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>
解上述方程组，就可得出平面方程z＝a0·x+a1·y+a2。
9.根据权利要求1所述的不规则平面零件的分类和识别定位方法，其特征在于：步骤(4)中，所述计算待测零件的三维位置和零件表面的平面法向量，具体方法如下：
(4-1)将步骤(2)得到的凸多边形的质心坐标代入步骤(3)得到的平面，可以计算出零件的三维坐标(x,y,z)；
(4-2)对于一般平面方程：A·x+B·y+C·z+D＝0，(C≠0)，其法向量步骤(3)得到拟合的平面方程为z＝a0·x+a1·y+a2；因此，零件表面的平面法向量可以表示为：单位化后为：
<mrow> <mover> <mi>n</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <mfrac> <msub> <mi>a</mi> <mn>0</mn> </msub> <msqrt> <mrow> <msubsup> <mi>a</mi> <mn>0</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>a</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </msqrt> </mfrac> <mo>,</mo> <mfrac> <msub> <mi>a</mi> <mn>1</mn> </msub> <msqrt> <mrow> <msubsup> <mi>a</mi> <mn>0</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>a</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </msqrt> </mfrac> <mo>,</mo> <mfrac> <mrow> <mo>-</mo> <mn>1</mn> </mrow> <msqrt> <mrow> <msubsup> <mi>a</mi> <mn>0</mn> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>a</mi> <mn>1</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mn>1</mn> </mrow> </msqrt> </mfrac> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>17</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow> 3
CN201710307447.7A 2017-05-04 2017-05-04 一种不规则平面零件的分类和识别定位方法 Active CN107238374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710307447.7A CN107238374B (zh) 2017-05-04 2017-05-04 一种不规则平面零件的分类和识别定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710307447.7A CN107238374B (zh) 2017-05-04 2017-05-04 一种不规则平面零件的分类和识别定位方法

Publications (2)

Publication Number Publication Date
CN107238374A true CN107238374A (zh) 2017-10-10
CN107238374B CN107238374B (zh) 2019-05-07

Family

ID=59984144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710307447.7A Active CN107238374B (zh) 2017-05-04 2017-05-04 一种不规则平面零件的分类和识别定位方法

Country Status (1)

Country Link
CN (1) CN107238374B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389647A (zh) * 2018-09-04 2019-02-26 中国地质大学（武汉） 一种相机拍摄角标校方法、设备及存储设备
CN109632825A (zh) * 2019-01-18 2019-04-16 创新奇智(重庆)科技有限公司 一种钢卷表面异常突起的自动检测方法
CN111975781A (zh) * 2020-08-25 2020-11-24 北京华航唯实机器人科技股份有限公司 机器人修正方法及装置、机器人
CN112233136A (zh) * 2020-11-03 2021-01-15 上海西井信息科技有限公司 基于双目识别的集卡对位方法、系统、设备及存储介质
CN114547356A (zh) * 2022-04-27 2022-05-27 深圳百里科技有限公司 模板图像存储方法、装置、设备及存储介质
CN116071358A (zh) * 2023-03-07 2023-05-05 江西省智能产业技术创新研究院 一种汽车底盘检测方法及可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US20060227132A1 (en) * 2005-04-11 2006-10-12 Samsung Electronics Co., Ltd. Depth image-based representation method for 3D object, modeling method and apparatus, and rendering method and apparatus using the same
CN103053168A (zh) * 2011-02-01 2013-04-17 松下电器产业株式会社 立体图像拍摄装置和内窥镜
CN103295220A (zh) * 2013-01-10 2013-09-11 李海军 一种双目视觉技术在康复理疗系统中的应用方法
CN103308000A (zh) * 2013-06-19 2013-09-18 武汉理工大学 基于双目视觉的曲线物体测量方法
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN105261047A (zh) * 2015-09-08 2016-01-20 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US20060227132A1 (en) * 2005-04-11 2006-10-12 Samsung Electronics Co., Ltd. Depth image-based representation method for 3D object, modeling method and apparatus, and rendering method and apparatus using the same
CN103053168A (zh) * 2011-02-01 2013-04-17 松下电器产业株式会社 立体图像拍摄装置和内窥镜
CN103295220A (zh) * 2013-01-10 2013-09-11 李海军 一种双目视觉技术在康复理疗系统中的应用方法
CN103308000A (zh) * 2013-06-19 2013-09-18 武汉理工大学 基于双目视觉的曲线物体测量方法
CN105021124A (zh) * 2015-04-16 2015-11-04 华南农业大学 一种基于深度图的平面零件三维位置和法向量计算方法
CN105261047A (zh) * 2015-09-08 2016-01-20 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389647A (zh) * 2018-09-04 2019-02-26 中国地质大学（武汉） 一种相机拍摄角标校方法、设备及存储设备
CN109389647B (zh) * 2018-09-04 2020-09-04 中国地质大学（武汉） 一种相机拍摄角标校方法、设备及存储设备
CN109632825A (zh) * 2019-01-18 2019-04-16 创新奇智(重庆)科技有限公司 一种钢卷表面异常突起的自动检测方法
CN111975781A (zh) * 2020-08-25 2020-11-24 北京华航唯实机器人科技股份有限公司 机器人修正方法及装置、机器人
CN111975781B (zh) * 2020-08-25 2021-10-26 北京华航唯实机器人科技股份有限公司 机器人修正方法及装置、机器人
CN112233136A (zh) * 2020-11-03 2021-01-15 上海西井信息科技有限公司 基于双目识别的集卡对位方法、系统、设备及存储介质
CN112233136B (zh) * 2020-11-03 2021-10-22 上海西井信息科技有限公司 基于双目识别的集卡对位方法、系统、设备及存储介质
CN114547356A (zh) * 2022-04-27 2022-05-27 深圳百里科技有限公司 模板图像存储方法、装置、设备及存储介质
CN114547356B (zh) * 2022-04-27 2022-07-12 深圳百里科技有限公司 模板图像存储方法、装置、设备及存储介质
CN116071358A (zh) * 2023-03-07 2023-05-05 江西省智能产业技术创新研究院 一种汽车底盘检测方法及可读存储介质

Also Published As

Publication number Publication date
CN107238374B (zh) 2019-05-07

Similar Documents

Publication Publication Date Title
CN107238374A (zh) 一种不规则平面零件的分类和识别定位方法
CN103236064B (zh) 一种基于法向量的点云自动配准方法
CN106919944B (zh) 一种基于orb算法的大视角图像快速识别方法
CN102107179B (zh) 一种基于双目视觉的单层皮革涂胶控制方法
Jing et al. Sampling-based view planning for 3d visual coverage task with unmanned aerial vehicle
CN105806315B (zh) 基于主动编码信息的非合作目标相对测量系统及测量方法
CN111986219B (zh) 一种三维点云与自由曲面模型的匹配方法
CN107063228A (zh) 基于双目视觉的目标姿态解算方法
JP2012150796A (ja) 情報処理装置および方法
CN103210417A (zh) 使用连续b样条变形预处理轮胎表面的三维图像的方法
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
CN111998862B (zh) 一种基于bnn的稠密双目slam方法
CN112669385A (zh) 基于三维点云特征的工业机器人工件识别与位姿估计方法
CN107818598A (zh) 一种基于视觉矫正的三维点云地图融合方法
CN104460505A (zh) 工业机器人相对位姿估计方法
CN113421291A (zh) 利用点云配准技术和三维重建技术的工件位置找正方法
CN113093216A (zh) 一种激光雷达和相机融合的不规则物体测量方法
Lee et al. 3D visual perception system for bin picking in automotive sub-assembly automation
CN113393524B (zh) 一种结合深度学习和轮廓点云重建的目标位姿估计方法
CN107449416A (zh) 基于矢量累积的恒星拖尾星点提取方法
Drwięga Features matching based merging of 3D maps in multi-robot systems
Kim et al. Structured light camera base 3D visual perception and tracking application system with robot grasping task
Hu et al. R-CNN based 3D object detection for autonomous driving
CN109035342B (zh) 利用一条直线及圆环点极线标定拋物折反射摄像机的方法
CN110428457A (zh) 一种视觉定位中的点集仿射变换算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant