CN109584310B - 一种基于垂直度约束的大物体面形测量的拼接方法 - Google Patents

一种基于垂直度约束的大物体面形测量的拼接方法 Download PDF

Info

Publication number
CN109584310B
CN109584310B CN201811415261.4A CN201811415261A CN109584310B CN 109584310 B CN109584310 B CN 109584310B CN 201811415261 A CN201811415261 A CN 201811415261A CN 109584310 B CN109584310 B CN 109584310B
Authority
CN
China
Prior art keywords
point
axis
splicing
large object
rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811415261.4A
Other languages
English (en)
Other versions
CN109584310A (zh
Inventor
伏燕军
黄春志
王霖
金露
钟可君
方利华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN201811415261.4A priority Critical patent/CN109584310B/zh
Publication of CN109584310A publication Critical patent/CN109584310A/zh
Application granted granted Critical
Publication of CN109584310B publication Critical patent/CN109584310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Abstract

本发明公开了一种基于垂直度约束的大物体面形测量的拼接方法，首先通过一种垂直度标定方法，使得相机光轴与参考面垂直；再利用基于面结构光对大物体面形三维重建的方法得到单幅面形点云数据；然后运用一种新的三标志点法求解旋转平移矩阵并完成拼接；最后用点距阈值消除法和加权平均融合算法完成数据融合。本发明运用一种基于垂直度标定的系统使得求解旋转平移矩阵R、T的数据量减少，提高了数据拼接速度。增加了对Y轴方向上的旋转轴的误差校正，使得测量大型物体时，拼接精度明显提高。用一种新三标志点法，采用先旋转、后平移的方式，能有效避免基于面结构光对大物体测量时柱面拼接方法的轴心定心不准问题。

Description

一种基于垂直度约束的大物体面形测量的拼接方法
技术领域
本发明涉及一种光学三维测量方法，属于光电检测技术领域。尤其涉及一种基于垂直度约束的大物体面形测量的拼接方法。
背景技术
随着科学技术交叉、多融合式的发展，基于光学、图像处理和计算机视觉的三维测量方法因高速、高精度、非接触、全场测量、快速信息获取等优点，已广泛应用于工业制造、文物保护、医疗等诸多领域，在工业生产和日常生活中发挥着重要作用。随着我国生产结构的工业化升级，对大型生产器件三维测量的需求逐渐增加。在航空航天、大型船舶、汽车车身、高速铁路等加工制造环节均离不开快速精密测量来保证每一个零件乃至最终产品的质量。
然而，在对大物体三维面形测量的实际过程中，影响大物体三维测量的速度和精度的主要因素均在于大物体面形数据的拼接技术。由于大型物体几何尺寸的限制，基于面结构光的三维测量技术无法单次完成物体表面整体三维面形的测量，需要进行三维图像拼接融合，在拼接融合过程中会出现迭代计算和累计误差等问题，严重影响了大物体整体面形的三维测量速度和精度。因此，在基于面结构光对大物体三维测量的基础上，研究出一种适用于大物体面形测量数据的拼接方法具有重要的科研意义和现实的经济价值。本发明就是针对大型物体三维测量数据拼接的速度和精度，提出一种基于垂直度约束的大物体面形测量的拼接方法。
发明内容
为解决大型物体三维测量数据拼接的速度和精度的问题，本发明在基于面结构光对大物体三维测量的基础上，提出一种基于垂直度约束的大物体面形测量的拼接方法。其主要分为四个过程：
(1)根据Harris角点检测算法检测相机所拍摄的棋盘格特定点的像素坐标值的差值来调整CCD相机光轴与参考面达到垂直。(2)然后利用传统的基于面结构光对大物体面形三维重建的方法得到单幅面形点云数据。(3)需在垂直度标定基础下，运用三标志点所确定平面的法向量与误差校正后的Y轴垂直的法向量分量求解出旋转角度
Figure BDA0001879303620000011
进而得到旋转平移矩阵R、T，然后将不同视角的点云数据统一到同一世界坐标系下，完成拼接。(4)运用点距阈值消除法和加权平均融合算法对拼接之后的数据进行无缝融合。
在步骤(1)中，用来调整CCD相机光轴与参考面达到垂直的具体方法为：取视场中央区域某一点，再取离中央点适当距离且近似等距的上下左右四个点构成十字型，当四个点到中央点的距离相等时，则CCD相机光轴与参考面垂直，否则需要继续调整相机方向直到满足条件为止。
在步骤(4)中，增加垂直度标定，以误差校正后的Y轴为旋转轴，误差主要是由于参考面不能完全与载物台垂直，标志点所确定平面一般不与旋转轴平行，因此，需要求出与旋转轴垂直的法向量分量。
本发明的优点：(1)本发明运用一种基于垂直度标定的系统使得求解旋转平移矩阵R、T的数据量减少，提高了数据拼接速度。(2)增加了对Y轴方向上的旋转轴的误差校正，使得测量大型物体时，拼接精度明显提高。(3)用一种新三标志点法，采用先旋转、后平移的方式，能有效避免基于面结构光对大物体测量时柱面拼接方法的轴心定心不准问题。
附图说明
图1为本发明的三维测量系统示意图。
图2为本发明的标定效果图。
图3为本发明的旋转轴误差校正图。
图4为本发明的旋转角求解原理图。
图中：1.投影仪、2.CCD相机、3.工作站、4.载物台、5.待测物体、6.参考平面。
具体实施方式
以下结合附图说明对本发明的实施例作进一步详细描述，但本实施例并不用于限制本发明，凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
一种基于垂直度约束的大物体面形测量的拼接方法包括以下步骤：
本发明的三维测量系统俯视图如图1所示，包括投影仪、CCD相机、工作站、测量支架、参考平面、载物台和待测物体；投影仪和CCD相机放在测量支架上；投影仪、CCD相机分别通过数据线与工作站相连接；待测物体放在参考平面前的载物台上；工作站内包含图像采集卡、投影软件、测量软件。投影仪将带有特征信息的条纹聚焦投射到被测物体表面，由CCD相机采集条纹信息，经过工作站处理后提取出特征信息，并按照特定算法进行三维重建。投影仪光轴和CCD相机光轴相交于O点。DLP投影仪和CCD相机为同一高度，它们之间的距离为d，它们到参考平面的距离为L。被测物体某点H的高度计算公式为：
Figure BDA0001879303620000031
其中f为参考平面上生成的正弦条纹的频率，
Figure BDA0001879303620000032
为物体表面图像和参考平面图像对应点的连续相位差。
(1)CCD相机垂直度标定。标定过程为：在测量之前，紧贴着参考面正放一块棋盘格标定板，将相机采集到的棋盘格图片进行Harris检测算法检测棋盘格上每一个角点的像素坐标。为避免CCD相机畸变的影响，取视场中央区域某一点，再取离中央点适当距离且近似等距的上下左右四个点构成十字型，当四个点到中央点的距离相等时，则CCD相机光轴与参考面垂直，否则需要继续调整相机方向直到满足条件为止。标定完成后，需要固定CCD相机的位置。标定效果如图2所示。实验过程中只需稍加调整，标定误差不超过一个像素。
(2)由于对大物体的测量区域比较大，且投影仪采用倾斜投影的方式，因此会出现周期性正弦条纹在参考面上投影不均匀的条纹展宽现象，先采用基于条纹周期校正的条纹四步相移法，再采用基于条纹周期校正的时间相位展开法即可精确地测量出单幅三维大物体的面形数据：Xw,Yw,Zw。
(3)选用标准的圆形标志点，为了使标志点采集清晰，又能保证测量精度，标志点的直径大小尽量为测量区域Y轴长度的1/20。三个标志点尽量避免构成狭长三角形且在移动前后的公共视场中，通过霍夫变换算法检测出圆形标志点圆心的二维坐标，再利用被测物体的高度计算公式和相机畸变校正模型确定标志点圆心所对应的世界坐标。物体移动前为第一视角，标志点坐标为：p1(x1,y1,z1)、p2(x2,y2,z2)、p3(x3,y3,z3)；物体移动后为第二视角，标志点坐标为：q1(x4,y4,z4)、q2(x5,y5,z5)、q3(x6,y6,z6)。
(4)令第一视角三标志点所确定平面为P，第二视角三标志点所确定平面为Q。则P、Q平面的法向量求解如下：
Figure BDA0001879303620000041
其中
Figure BDA0001879303620000042
则：
Figure BDA0001879303620000043
同理：
Figure BDA0001879303620000044
(5)由于P、Q平面一般不与载物台垂直，且参考面会在与参考面垂直方向上出现一定偏差角δ，因此要想借助旋转轴Y轴来确定旋转角度就必须进行误差校正，如图3所示。由垂直度标定得，Z方向的世界坐标全部沿着垂直于参考面的方向，Y方向的世界坐标全部沿着平行于参考面方向，而载物台上物体的移动方向却是沿着载物台平面的，因此，旋转轴的误差方向只与Y、Z轴方向有关，设原旋转轴为
Figure BDA0001879303620000045
则校正之后的旋转轴为
Figure BDA0001879303620000046
因为该偏差角一般较小，所以偏差角δ余弦值可由如下公式求解：
Figure BDA0001879303620000047
(6)旋转角度求解原理图如图4所示，旋转角度可由P、Q平面的法向量在旋转轴方向的垂直分量来确定，则P、Q两个法向量与y轴的夹角余弦值分别为：
Figure BDA0001879303620000048
因此两个法向量与y轴垂直分量分别为：
Figure BDA0001879303620000049
最后根据这两个与y轴垂直的法向量分量求解出旋转角度的余弦值与正弦值。
由法向量分量
Figure BDA00018793036200000410
得：
Figure BDA0001879303620000051
为保证视场公共区域的范围，θ一般为锐角，因此：
Figure BDA0001879303620000052
(7)由上可得，绕误差校正后的y轴旋转的旋转矩阵R为：
Figure BDA0001879303620000053
令P平面三标志点旋转之后的坐标为：P1′(x1′,y1′,z1′)、P2′(x2′,y2′,z2′)、
P3′(x3′,y3′,z3′)
则平移矩阵为：
Figure BDA0001879303620000054
其中：pi′＝pi·R(i＝1,2,3)
因此可由公式：
Pw′(Xw′，Yw′，Zw′)＝Pw(Xw，Yw，Zw)·R+T (10)
完成拼接，其中：Pw(Xw，Yw，Zw)为上述第一视角的点云世界坐标。
(8)最后运用点距阈值消除法和加权平均融合算法对拼接之后的数据进行无缝融合。
点距阈值消除法：
Figure BDA0001879303620000055
其中，(xp,yp,zp),(xq,yq,zq)分别是P视角和Q视角的重叠区域某点，重叠区域可由前面拼接可得；ε是设定的某一阈值。当上式成立，则去掉P图(或者Q图)上该点。
由于ε阈值的设置始终存在，导致重叠区域的数据融合会出现一定的裂缝，此时需进行裂缝区域的数据加权平均融合：
Figure BDA0001879303620000061
其中，Kz为融合数据，d为裂缝宽度，w宽度中间值，p为裂缝区域内某一点。可达到无缝拼接效果，有效的提高了拼接数据融合的误差。

Claims (3)

1.一种基于垂直度约束的大物体面形测量的拼接方法，其特征在于，包括以下步骤：
(1)运用Harris角点检测算法检测相机所拍摄的棋盘格特定点的像素坐标值的差值来调整CCD相机光轴与参考面达到垂直；
(2)通过基于面结构光对大物体面形三维重建的方法，得到大物体单幅面点云数据；
(3)物体移动前为第一视角，三标志点坐标为：p1(x1,y1,z1)、p2(x2,y2,z2)、p3(x3,y3,z3)；物体移动后为第二视角，三标志点坐标为：q1(x4,y4,z4)、q2(x5,y5,z5)、q3(x6,y6,z6)；对两视角的三标志点进行二维识别得到像素坐标，再结合相机畸变校正模型和亚像素细分原理，在单幅点云数据中搜索到其对应的标志点世界坐标；
(4)令第一视角三标志点所确定平面为P，第二视角三标志点所确定平面为Q；则P、Q平面的法向量
Figure FDA0003938331130000011
Figure FDA0003938331130000012
在垂直度标定基础下，运用三标志点所确定平面P、Q的法向量与误差校正后的Y轴垂直的法向量分量求解出旋转角度
Figure FDA0003938331130000016
进而得到旋转平移矩阵R、T；然后将两视角测得的单幅点云数据统一到同一世界坐标系下，并进行最后的拼接融合；具体求解过程如下：
设原旋转轴为
Figure FDA0003938331130000013
校正之后的旋转轴为
Figure FDA0003938331130000014
δ表示参考面与参考面垂直方向上的偏差角，偏差角δ正弦值由如下公式求解：
Figure FDA0003938331130000015
旋转角度由P、Q平面的法向量在旋转轴方向的垂直分量来确定，P、Q两个法向量与y轴的夹角余弦值分别为：
Figure FDA0003938331130000021
因此两个法向量与y轴垂直分量分别为：
Figure FDA0003938331130000022
最后根据这两个与y轴垂直的法向量分量求解出旋转角度的余弦值与正弦值；
由法向量分量
Figure FDA0003938331130000023
得：
Figure FDA0003938331130000024
θ为锐角，因此：
Figure FDA0003938331130000025
由上可得，绕误差校正后的y轴旋转的旋转矩阵R为：
Figure FDA0003938331130000026
令P平面三标志点旋转之后的坐标为：P1'(x1',y1',z1')、P2'(x2',y2',z2')、P3'(x3',y3',z3')
则平移矩阵为：
Figure FDA0003938331130000027
其中：pi'＝pi·R(i＝1,2,3)
由公式：
Pw′(Xw′，Yw′，Zw′)＝Pw(Xw，Yw，Zw)·R+T (8)
完成拼接，其中：Pw(Xw，Yw，Zw)为上述第一视角的点云世界坐标。
2.根据权利要求1所述的方法，其特征在于：在步骤(1)中，运用Harris 角点检测算法检测相机所拍摄的棋盘格特定点的像素坐标值的差值来调整垂直的具体方法为：取视场中央区域某一点，再取离中央点等距的上下左右四个点构成十字型，当四个点到中央点的距离相等时，则CCD相机光轴与参考面垂直，否则需要继续调整相机方向直到满足条件为止。
3.根据权利要求1所述的方法，其特征在于：在步骤(4)中，增加垂直度标定，以误差校正后的Y轴为旋转轴。
CN201811415261.4A 2018-11-26 2018-11-26 一种基于垂直度约束的大物体面形测量的拼接方法 Active CN109584310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811415261.4A CN109584310B (zh) 2018-11-26 2018-11-26 一种基于垂直度约束的大物体面形测量的拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811415261.4A CN109584310B (zh) 2018-11-26 2018-11-26 一种基于垂直度约束的大物体面形测量的拼接方法

Publications (2)

Publication Number Publication Date
CN109584310A CN109584310A (zh) 2019-04-05
CN109584310B true CN109584310B (zh) 2022-12-16

Family

ID=65924458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811415261.4A Active CN109584310B (zh) 2018-11-26 2018-11-26 一种基于垂直度约束的大物体面形测量的拼接方法

Country Status (1)

Country Link
CN (1) CN109584310B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110514113A (zh) * 2019-06-13 2019-11-29 杭州电子科技大学 一种基于单目视觉摄像头的滑坡裂缝监测方法
CN110849268B (zh) * 2019-12-10 2021-07-06 南昌航空大学 一种快速的相位-高度映射标定方法
CN111461981B (zh) * 2020-03-30 2023-09-01 北京百度网讯科技有限公司 点云拼接算法的误差估计方法和装置
CN112013763A (zh) * 2020-08-08 2020-12-01 苏州图睿视觉科技有限公司 一种基于视觉检测的泡沫测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392426A (zh) * 2014-10-23 2015-03-04 华中科技大学 一种自适应的无标志点三维点云自动拼接方法
CN106441138A (zh) * 2016-10-12 2017-02-22 中南大学 基于视觉测量的变形监测方法
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN108534714A (zh) * 2018-03-09 2018-09-14 南昌航空大学 基于正弦和二进制条纹投影的快速三维测量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392426A (zh) * 2014-10-23 2015-03-04 华中科技大学 一种自适应的无标志点三维点云自动拼接方法
CN106441138A (zh) * 2016-10-12 2017-02-22 中南大学 基于视觉测量的变形监测方法
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN108534714A (zh) * 2018-03-09 2018-09-14 南昌航空大学 基于正弦和二进制条纹投影的快速三维测量方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Complex surface three-dimensional shape measurement method based on defocused Gray code plus phase-shifting;Zeng, Z. 等;《Optical Review》;20160511;全文 *
基于单目结构光的大物体三维测量关键方法的研究;伏燕军 等;《应用光学》;20180331;第39卷(第2期);全文 *
基于标志点的三维数据拼接方法;秦绪红 等;《机械制造与自动化》;20130228;第42卷(第1期);全文 *
基于正弦和三角波条纹投影的三维测量方法;邱磊 等;《应用光学》;20180731;第39卷(第4期);全文 *
基于结构光的大工件三维测量拼接方法的研究;邱磊;《中国优秀硕士学位论文全文数据库信息科技辑》;20181115(第11期);第5章 *

Also Published As

Publication number Publication date
CN109584310A (zh) 2019-04-05

Similar Documents

Publication Publication Date Title
CN109584310B (zh) 一种基于垂直度约束的大物体面形测量的拼接方法
CN110849268B (zh) 一种快速的相位-高度映射标定方法
US10690492B2 (en) Structural light parameter calibration device and method based on front-coating plane mirror
CN107063129B (zh) 一种阵列式并行激光投影三维扫描方法
CN105783775B (zh) 一种镜面及类镜面物体表面形貌测量装置与方法
CN102364299B (zh) 一种多个结构光投影三维型面测量头的标定技术
CN108921901B (zh) 一种基于精密二轴转台和激光跟踪仪的大视场相机标定方法
CN109163657B (zh) 一种基于双目视觉三维重建的圆形目标位姿检测方法
CN102376089B (zh) 一种标靶校正方法及系统
CN107339935B (zh) 用于全视角扫描测量系统的靶标空间交会测量方法
CN105118086B (zh) 3d‑aoi设备中的3d点云数据配准方法及系统
CN104780865A (zh) 用于校准牙科摄像机的校准设备和方法
CN103759669A (zh) 一种大型零件的单目视觉测量方法
Wang et al. A two-step calibration method of a large FOV binocular stereovision sensor for onsite measurement
CN111080714A (zh) 一种基于三维重建的平行式双目相机标定方法
CN104574388A (zh) 一种相机标定系统及其3d标定方法
Chen et al. A self-recalibration method based on scale-invariant registration for structured light measurement systems
Wang et al. Complete calibration of a structured light stripe vision sensor through a single cylindrical target
Vilaca et al. Calibration procedure for 3D measurement systems using two cameras and a laser line
CN109506629B (zh) 一种水下核燃料组件检测装置旋转中心标定的方法
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
Zhang et al. Novel method of positioning optical freeform surfaces based on fringe deflectometry
Zexiao et al. Study on a full field of view laser scanning system
CN112082511A (zh) 一种基于转台的大物体快速标定测量方法
CN110428471B (zh) 一种针对光学自由曲面子孔径偏折测量的精确自定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant