CN109373901B - 位于平面上的孔的中心位置的计算方法 - Google Patents

位于平面上的孔的中心位置的计算方法 Download PDF

Info

Publication number
CN109373901B
CN109373901B CN201811464348.0A CN201811464348A CN109373901B CN 109373901 B CN109373901 B CN 109373901B CN 201811464348 A CN201811464348 A CN 201811464348A CN 109373901 B CN109373901 B CN 109373901B
Authority
CN
China
Prior art keywords
plane
hole
projector
circular hole
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811464348.0A
Other languages
English (en)
Other versions
CN109373901A (zh
Inventor
于彭
张楠楠
郭磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isv Tianjin Technology Co ltd
Original Assignee
Isv Tianjin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isv Tianjin Technology Co ltd filed Critical Isv Tianjin Technology Co ltd
Priority to CN201811464348.0A priority Critical patent/CN109373901B/zh
Publication of CN109373901A publication Critical patent/CN109373901A/zh
Priority to PCT/CN2019/098677 priority patent/WO2020113978A1/zh
Application granted granted Critical
Publication of CN109373901B publication Critical patent/CN109373901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种位于平面上的孔的中心位置的计算方法，包括如下步骤：1)利用单目视觉传感器采集孔所在平面包含孔区域的灰度图，标记此区域为区域I；2)向区域I分别投射横、纵向的三频四相相移光栅，采集图片，畸变校正，再分别沿横向、纵向解算相机平面上的绝对相位；解算投影仪平面上的横、纵绝对相位；3)取一系列相机平面和投影仪平面所对应的同位置点，计算单应性矩阵；4)提取灰度图中圆孔边缘的亚像素坐标，依据单应性矩阵计算出其在投影仪平面中的坐标，求取圆孔边缘各点的三维坐标，计算圆孔中心在平面中的位置。该方法将三频四相法与单目传感器相结合，能快速、准确的获取孔的中心位置；同时设备体积减小，便于测量。

Description

位于平面上的孔的中心位置的计算方法
技术领域
本发明涉及大型交通工具制造、安装领域，具体涉及一种位于平面上的孔的中心位置的计算方法。
背景技术
孔位置检测在汽车、轮船、飞机等制造领域的自动装配工作中具有非常重要的作用，实现孔位置的准确检测有利于提高在线安装或在线检测工作的准确性，继而提高产品的质量。目前，孔类中心位置的解算方式主要有以下三种：1)三坐标测量机、2)线激光器和3)双目立体视觉。三坐标测量机能够获得较高的测量精度，但其测量速度较慢，难以满足白车身在线测量的要求。线激光的测量方式又可分为以下三种：二维影像结合激光测距检测方案、线激光机器人扫描检测方案、线激光单光刀方案。其中，二维影像结合激光测距检测方案需要额外的LED光源进行打光，且对光照强度、光照角度、摄像机采集角度都有严格的要求；线激光机器人扫描检测方案需要机器人在小范围内进行运动并进行检测，机器人运动绝对精度较低，小范围的轨迹难以精确控制，容易在测量过程中引入机器人运动误差；线激光单光刀方案拍摄图像少，测量速度快，但其拍摄时需使摄像机光轴垂直于待测圆孔所在平面，且只提取两个光刀点进行计算，可用数据较少，稳定性较差。双目立体视觉匹配较为困难，难以获得理想的测量精度。综上所述，现有方法均不能准确、快速的获取孔的中心位置。
发明内容
为了解决上述技术问题，本发明提供一种位于平面上的孔的中心位置的计算方法，其将三频四相法与单目传感器相结合，能快速、准确的获取孔的中心位置；同时设备体积减小，便于测量。
为此，本发明的技术方案如下：
一种位于平面上的孔的中心位置的计算方法，包括如下步骤：
1)利用单目视觉传感器采集孔所在平面包含孔区域的灰度图，标记此区域为区域I；
2)向包含区域I的区域分别投射横向的三频四相相移光栅和纵向的三频四相相移光栅，同时采集图片，对得到的图片进行畸变校正，再分别沿横向、纵向解算相机平面上的绝对相位；
解算投影仪投射出的横向的三频四相相移光栅和纵向的三频四相相移光栅的绝对相位信息，得到投影仪平面上的横、纵绝对相位；
3)取一系列相机平面、投影仪平面横向、纵向绝对相位均相等的点，计算相机平面与投影仪平面之间的单应性矩阵；
4)提取步骤1)得到的灰度图中的圆孔边缘的亚像素坐标，依据步骤3)得到的单应性矩阵计算出其在投影仪平面中的坐标，求取圆孔边缘各点的三维坐标，计算圆孔中心在平面中的位置。
进一步，所述平面为孔上端面的四周至少1cm处与孔的上端面处于同一个平面。
进一步，步骤4)提取步骤1)得到的灰度图中的圆孔边缘的亚像素坐标的步骤为：
①先利用canny边缘检测法提取圆孔的整像素边缘；
②利用亚像素曲面拟合法求解圆孔边缘的亚像素坐标，其中曲面拟合法利用二元二次多项式进行拟合：
G(x,y)＝a0+a1x+a2y+a3x2+a4xy+a5y2
将拟合窗口内的数据代入上式，得到六个系数：a0,a1,a2,a3,a4,a5；
再利用
Figure BDA0001889387190000031
解算出圆孔边缘的亚像素坐标。
进一步，步骤4)中计算圆孔中心在平面中的位置时，先将获取的圆孔边缘的三维坐标点利用最小二乘法，拟合出圆柱，获取圆柱的轴线与圆孔所在平面的交点，即为圆孔中心在平面中的位置。
本发明提供的位于平面上的孔的中心位置的计算方法将三频四相法与单目传感器相结合，通过横向、纵向分别投射的三频四相相移光栅而获取24张图片，计算相机平面与投影仪平面之间的单应性矩阵，将图片上孔的位置信息在投影仪平面上得以反馈，继而计算得到圆孔中心的位置。该方法能快速、准确的获取孔的中心位置，且使用的设备尺寸小，扩大了领域。
附图说明
图1为本发明一个实施例利用相机采集的孔所在区域的灰度图；
图2为图1中相同区域被投射横向三频四相相移光栅后得到的图片；
图3为图1中相同区域被投射纵向三频四相相移光栅后得到的图片；
图4为投影仪平面上的横向绝对相位图；
图5为投影仪平面上的纵向绝对相位图；
图6为相机平面上的横向绝对相位图；
图7为相机平面上的纵向绝对相位图；
图8为采用本发明提供的计算方法对图1采集孔的亚像素边缘坐标进行拟合得到的结果；
图9为本发明一个实施例得到的孔的中心位置的结果展示图。
具体实施方式
以下结合附图对本发明的技术方案进行详细描述。
一种位于平面上的孔的中心位置的计算方法，包括如下步骤：
1)利用单目视觉传感器采集孔所在平面包含孔区域的灰度图，如图1所示，标记此区域为区域I；
2)向包含区域I的区域分别投射横向的三频四相相移光栅和纵向的三频四相相移光栅，同时采集图片(如图2、3)，对得到的图片进行畸变校正，再分别沿横向、纵向解算相机平面上的绝对相位(得到图6、7)；
解算投影仪投射出的横向的三频四相相移光栅(得到图4)和纵向的三频四相相移光栅(得到图5)的绝对相位信息，得到投影仪平面上的横、纵绝对相位；
3)取一系列相机平面、投影仪平面横向、纵向绝对相位均相等的点，计算相机平面与投影仪平面之间的单应性矩阵
Figure BDA0001889387190000041
设
Figure BDA0001889387190000042
则可得：
Figure BDA0001889387190000043
其中[up vp 1]T为投影仪像平面坐标的齐次表示；[uc vc 1]T为相机像平面坐标的齐次表示；
(1)式展开可得：
Figure BDA0001889387190000051
将(2)式化简并表示为矩阵形式：
Figure BDA0001889387190000052
设共有N(N≥4)组点，共可列出2N个方程，故可求解出单应性矩阵
Figure BDA0001889387190000053
求出的
Figure BDA0001889387190000054
应归一化，使得h33＝1；
4)提取步骤1)得到的灰度图中的圆孔边缘的亚像素坐标(如图8)，步骤如下：
①先利用canny边缘检测法提取圆孔的整像素边缘；
②取一个3×3的拟合窗口，将该部分视为一个微小的曲面，该曲面的极值点就为待求的亚像素坐标。采用二元二次函数G(x,y)来拟合该曲面，其表达形式如下：G(x,y)＝a0+a1x+a2y+a3x2+a4xy+a5y2
函数G(x,y)对x,y求偏导，可得：
Figure BDA0001889387190000055
化简可得：
Figure BDA0001889387190000061
表1中取了6个点，分别列出了canny边缘检测的坐标与曲面拟合法提取的坐标
表1Canny边缘检测坐标与曲面拟合坐标比较
Figure BDA0001889387190000062
将拟合窗口内的数据代入上式，得到六个系数：a0,a1,a2,a3,a4,a5；
然后，利用
Figure BDA0001889387190000063
解算出圆孔边缘的亚像素坐标；其次，依据步骤3)得到的单应性矩阵
Figure BDA0001889387190000064
计算出其在投影仪平面中的坐标，根据单目传感器标定所获得的内外参数(内参数包括相机与投影仪的焦距、相机与投影仪的像主点坐标、相机与投影仪的畸变系数；外参数包括相机坐标系至投影仪坐标系的旋转矩阵R与平移矩阵T)，以及圆孔边缘点在相机像平面与投影仪像平面的对应点坐标，即可计算出圆孔边缘在相机坐标系下的三维坐标；解算的公式如下：xc＝uc·zc、yc＝vc·zc、
Figure BDA0001889387190000065
其中，up,uc,vc坐标都已归一化并进行了畸变校正；
Figure BDA0001889387190000071
代表相机坐标系至投影仪坐标系的旋转矩阵；
T＝[t1 t2 t3]T代表相机坐标系至投影仪坐标系的平移矩阵；
利用如下方法计算圆孔中心在平面中的位置：先将获取的圆孔边缘的三维坐标点利用最小二乘法，拟合出圆柱，要想唯一确定一个圆柱，需要7个参数，分别为该圆柱中心轴线得方向向量(a,b,c)和直线上得某一点坐标(x0,y0,z0)，以及圆柱半径r，由此可得圆柱的中心轴线
Figure BDA0001889387190000072
其中，t为参数变量；
空间圆柱面得方程可表示为：
Figure BDA0001889387190000073
其中，(x,y,z)为空间圆柱上得点，(a,b,c)为单位方向向量，化简可得：
Figure BDA0001889387190000074
列出误差方程，令v＝r2-R2
则可得：
v＝[a(zi-z0)-c(xi-x0)]2+[b(xi-x0)-a(yi-y0)]2+[c(yi-y0)-b(zi-z0)]2-R2 (9)
将式(9)进行线性化，并将所求出的圆孔边缘点坐标代入，按最小二乘法即可解算出七个未知参数，继而求出圆柱的轴线所在的直线方程，从而可计算出轴线与圆孔所在平面的交点，获得圆孔在该平面中的位置信息，最终的结果如图9所示。
以上实施例以白车身在线检测中螺孔中心点的检测为例，对该本发明的实际应用进行描述，该计算方法将三频四相法与单目传感器相结合，通过横向、纵向分别投射的三频四相相移光栅而获取24张图片，计算相机平面与投影仪平面之间的单应性矩阵，将图片上孔的位置信息在投影仪平面上得以反馈，继而计算得到圆孔中心的位置。该方法能快速、准确的获取孔的中心位置，且使用的设备尺寸小，扩大了领域。

Claims (4)

1.一种位于平面上的孔的中心位置的计算方法，其特征在于包括如下步骤：
1)利用单目视觉传感器采集孔所在平面包含孔区域的灰度图，标记此区域为区域I；
2)向包含区域I的区域分别投射横向的三频四相相移光栅和纵向的三频四相相移光栅，同时采集图片，对得到的图片进行畸变校正，再分别沿横向、纵向解算相机平面上的绝对相位；
解算投影仪投射出的横向的三频四相相移光栅和纵向的三频四相相移光栅的绝对相位信息，得到投影仪平面上的横、纵绝对相位；
3)取一系列相机平面、投影仪平面横向、纵向绝对相位均相等的点，计算相机平面与投影仪平面之间的单应性矩阵；
4)提取步骤1)得到的灰度图中的圆孔边缘的亚像素坐标，依据步骤3)得到的单应性矩阵计算出其在投影仪平面中的坐标，根据单目传感器标定所获得的内、外参数以及圆孔边缘点在相机像平面与投影仪像平面的对应点坐标，求解圆孔边缘在相机坐标系下的三维坐标；计算圆孔中心在平面中的位置；
所述内参数包括相机与投影仪的焦距、相机与投影仪的像主点坐标、相机与投影仪的畸变系数；所述外参数包括相机坐标系至投影仪坐标系的旋转矩阵与平移矩阵。
2.如权利要求1所述位于平面上的孔的中心位置的计算方法，其特征在于：所述平面为孔上端面的四周至少1cm处与孔的上端面处于同一个平面。
3.如权利要求1所述位于平面上的孔的中心位置的计算方法，其特征在于：步骤4)提取步骤1)得到的灰度图中的圆孔边缘的亚像素坐标的步骤为：
①先利用canny边缘检测法提取圆孔的整像素边缘；
②利用亚像素曲面拟合法求解圆孔边缘的亚像素坐标，其中曲面拟合法利用二元二次多项式进行拟合：
G(x,y)＝a0+a1x+a2y+a3x2+a4xy+a5y2
将拟合窗口内的数据代入上式，得到六个系数：a0,a1,a2,a3,a4,a5；
再利用
Figure FDA0002491287050000021
解算出圆孔边缘的亚像素坐标。
4.如权利要求1所述位于平面上的孔的中心位置的计算方法，其特征在于：步骤4)中计算圆孔中心在平面中的位置时，先将获取的圆孔边缘的三维坐标点利用最小二乘法，拟合出圆柱，获取圆柱的轴线与圆孔所在平面的交点，即为圆孔中心在平面中的位置。
CN201811464348.0A 2018-12-03 2018-12-03 位于平面上的孔的中心位置的计算方法 Active CN109373901B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811464348.0A CN109373901B (zh) 2018-12-03 2018-12-03 位于平面上的孔的中心位置的计算方法
PCT/CN2019/098677 WO2020113978A1 (zh) 2018-12-03 2019-07-31 位于平面上的孔的中心位置的计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811464348.0A CN109373901B (zh) 2018-12-03 2018-12-03 位于平面上的孔的中心位置的计算方法

Publications (2)

Publication Number Publication Date
CN109373901A CN109373901A (zh) 2019-02-22
CN109373901B true CN109373901B (zh) 2020-08-07

Family

ID=65375182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811464348.0A Active CN109373901B (zh) 2018-12-03 2018-12-03 位于平面上的孔的中心位置的计算方法

Country Status (2)

Country Link
CN (1) CN109373901B (zh)
WO (1) WO2020113978A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109373901B (zh) * 2018-12-03 2020-08-07 易思维（天津）科技有限公司 位于平面上的孔的中心位置的计算方法
CN112308870B (zh) * 2020-10-16 2022-06-14 易思维（杭州）科技有限公司 基于深度学习的边缘检测滤波器优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101949693A (zh) * 2010-08-03 2011-01-19 河北工业大学 一种三维成像系统的标定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59155704A (ja) * 1983-02-24 1984-09-04 Mitsubishi Electric Corp 穴中心位置検出装置
JPS6247503A (ja) * 1985-08-27 1987-03-02 Nissan Motor Co Ltd 光切断法により円形対象物の位置を３次元的に認識する装置
JPS62192602A (ja) * 1986-02-20 1987-08-24 Hitachi Ltd 孔の中心位置検出装置
JP3409875B2 (ja) * 1993-03-26 2003-05-26 本田技研工業株式会社 孔位置の計測方法
JPH07332925A (ja) * 1994-06-03 1995-12-22 Keyence Corp 測定装置
JPH0942915A (ja) * 1995-07-31 1997-02-14 Mitsubishi Heavy Ind Ltd 穴位置検出装置
CN101667303B (zh) * 2009-09-29 2013-01-16 浙江工业大学 一种基于编码结构光的三维重建方法
CN103453835A (zh) * 2013-08-06 2013-12-18 王向阳 脊柱白光三维运动测量方法
US20150260509A1 (en) * 2014-03-11 2015-09-17 Jonathan Kofman Three dimensional (3d) imaging by a mobile communication device
CN105091750A (zh) * 2015-07-30 2015-11-25 河北工业大学 一种基于双四步相移的投影仪标定方法
CN106500596B (zh) * 2016-11-25 2018-10-02 清华大学 结构光全景测量系统的测量方法
CN107179050B (zh) * 2017-06-13 2019-07-16 松下压缩机(大连)有限公司 零部件斜孔孔位置检测方法
CN109373901B (zh) * 2018-12-03 2020-08-07 易思维（天津）科技有限公司 位于平面上的孔的中心位置的计算方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101949693A (zh) * 2010-08-03 2011-01-19 河北工业大学 一种三维成像系统的标定方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Method of Hole Center Positioning in Building Steel Plate Image;Li Xin等;《PROCEEDINGS OF THE 2014 INTERNATIONAL CONFERENCE ON MECHANICS AND CIVIL ENGINEERING》;20141214;第7卷;第742-746页 *
基于圆拟合的孔系中心坐标高精度检测方法研究;黄劼等;《工具技术》;20040430;第38卷(第4期);第47-49页 *
线结构光视觉传感器测圆(类圆)孔中心两步法;薛婷等;《机械工程学报》;20081031;第44卷(第10期);第206-209页 *
结构光传感器在柔性视觉测量系统中的应用研究;吴斌等;《光电子.激光》;20081031;第19卷(第10期);第1309-1311页 *

Also Published As

Publication number Publication date
CN109373901A (zh) 2019-02-22
WO2020113978A1 (zh) 2020-06-11

Similar Documents

Publication Publication Date Title
CN107358631B (zh) 一种虑及三维畸变的双目视觉重建方法
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN105716542B (zh) 一种基于柔性特征点的三维数据拼接方法
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
EP3032818B1 (en) Image processing device
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
EP3896640B1 (en) System and method for efficient 3d reconstruction of objects with telecentric line-scan cameras
CN105118086B (zh) 3d‑aoi设备中的3d点云数据配准方法及系统
JP4234059B2 (ja) カメラキャリブレーション方法およびカメラキャリブレーション装置
CN111091076B (zh) 基于立体视觉的隧道限界数据测量方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN109373912A (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN109373901B (zh) 位于平面上的孔的中心位置的计算方法
KR102268094B1 (ko) 동적 입체 캘리브레이션을 위한 시스템 및 방법
CN114494466B (zh) 外参标定方法、装置及设备、存储介质
CN104167001A (zh) 基于正交补偿的大视场摄像机标定方法
CN113724337A (zh) 一种无需依赖云台角度的相机动态外参标定方法及装置
CN114565510A (zh) 一种车道线距离检测方法、装置、设备及介质
CN110044266B (zh) 基于散斑投影的摄影测量系统
CN111998834B (zh) 一种裂缝监测方法及系统
CN114998399A (zh) 一种异源光学遥感卫星影像立体像对预处理方法
CN112525106B (zh) 基于三相机协同激光的3d探测方法及装置
CN111376254A (zh) 平面测距方法及系统和机械手调校平面的方法及系统
CN116935181A (zh) 一种完全二值散斑嵌入脉宽调制模式三维测量方法
CN113628117B (zh) 一种深度图像旋转变换方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant