CN109945841B - 一种无编码点的工业摄影测量方法 - Google Patents

一种无编码点的工业摄影测量方法 Download PDF

Info

Publication number
CN109945841B
CN109945841B CN201910202543.4A CN201910202543A CN109945841B CN 109945841 B CN109945841 B CN 109945841B CN 201910202543 A CN201910202543 A CN 201910202543A CN 109945841 B CN109945841 B CN 109945841B
Authority
CN
China
Prior art keywords
image
point
speckle
points
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910202543.4A
Other languages
English (en)
Other versions
CN109945841A (zh
Inventor
叶南
严俊
李廷成
史传飞
祝鸿宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910202543.4A priority Critical patent/CN109945841B/zh
Publication of CN109945841A publication Critical patent/CN109945841A/zh
Application granted granted Critical
Publication of CN109945841B publication Critical patent/CN109945841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开一种无编码点的工业摄影测量方法,通过向被测物表面投射特定模式的散斑纹理图案,并在视野范围内放置标尺,接着利用单反相机围绕测量场景进行多角度自由拍摄,利用SIFT算子求解得到初始匹配点坐标和相机粗略的位姿矩阵信息后,根据RFDIC匹配方法计算图像序列间的高精度匹配点;再完成高精度的多视图结构重建,最后根据标尺的已知长度恢复多视图结构的实际尺度,从而得到精确的相机位姿信息和被测物表面的三维点云。本发明相较于传统布设编码点的工业摄影测量方式,无需布设编码点,节省了大量繁琐的人工布点工作,且测量精度高,测量速度快,适合工业现场的快速测量。

Description

一种无编码点的工业摄影测量方法
技术领域
本发明属于工业摄影测量技术领域,具体涉及一种无编码点的工业摄影测量方法。
背景技术
工业摄影测量技术是测绘学科的一门分支,它是对由摄像机摄取的影像进行量测,测定物体在三维空间的位置、形状、大小,乃至物体的运动。在利用单相机围绕被测物进行自由拍照的过程中,通常需要借助多视图几何框架的基本原理,完成各次拍摄时相机位姿的求解和目标点三维重建的过程。目前,许多商用的工业摄影测量系统已发展的十分成熟,比如德国GOM公司开发的TRITOP系统,以及美国GSI公司研发的V-STARS系统。这些摄影测量系统都需要事先在被测物表面布置大量的编码点标志物,接着对拍摄的图像序列进行编码点的提取与识别,再根据SFM(Structure From Motion)的理论采用增量式或全局式的重建算法求解出编码中心点的三维坐标和每次拍摄时的相机位姿。通过布设工业编码点,大部分的摄影测量系统能达到0.025mm/m以内的精度。
然而人工在被测物表面布设编码点是十分耗时、繁琐的过程。尤其当被测物是飞机蒙皮之类的大型复杂的产品零件时,对编码点数量的要求可能多达几百个,且有些零件表面不允许粘贴标记点或不具备布点条件。例如,非铁磁性的金属材料无法使用磁吸附式的编码标志物,只能依靠粘贴的方式来固定编码点,可能对高精度的零件表面造成破坏。
综上所述,现阶段的工业摄影测量系统几乎全部依赖于布设编码点的方式,对于无编码点的工业摄影测量方法却没有有效的解决方案。
发明内容
发明目的:针对现有技术存在的不足,本发明的目的是提供一种操作简单,测量精度高,省时省力的无编码点的工业摄影测量方法。
技术方案:为了实现上述发明目的,本发明采用的技术方案如下:
一种无编码点的工业摄影测量方法,包括以下步骤:
1)生成随机散斑纹理图案;
2)利用光线投射装置向被测物投射散斑纹理,并在视野范围内放置标尺;
3)利用相机围绕被测物进行多角度全局拍摄;
4)利用SIFT算子建立图像序列间的初始匹配关系,采用多视图几何求解框架重建初始的多视图结构,求解出粗略的相机位姿信息;
5)通过步骤4)中得到初始匹配点坐标和相机粗略的位姿矩阵后,利用带旋转补偿的数字图像相关(Rotation Free Digital Image Correlation,RFDIC)方法计算图像间高精度匹配点;
6)通过步骤5)计算出的图像间高精度匹配点坐标,再次使用多视图几何求解框架完成高精度的多视图结构重建,最后根据标尺的已知长度恢复多视图结构的实际尺度,从而得到精确的相机位姿信息和被测物表面三维点云。
作为优选,步骤1)中,利用数字散斑图案生成算法生成的随机散斑纹理能够有效增强被测物表面纹理信息,所述数字散斑图案生成算法的步骤包括:生成底色背景步骤和生成散斑颗粒步骤,所述数字散斑图案生成算法可对散斑颗粒的大小、数量、灰度值参数进行调控。
作为优选,在生成底色背景步骤中,将图像的像素灰度值设置在较高的值域范围内,从而生成偏白色的底色背景,并利用随机函数Rnd()为每个大的像素块生成一个随机灰度值,即:
gi=Rnd(gmin,gmax)
式中:gi表示每个像素块的灰度值,gmin,gmax表示设定灰度值的最小值和最大值;
在生成散斑颗粒步骤中,采用随机生长法生成随机形状的散斑颗粒,让单个像素点在一个半径大小不固定的圆形区域内生长,而每次判断像素点是否生长到区域边界时,用随机数去设置该区域的半径大小,从而得到形状随机的散斑颗粒。
作为优选,步骤2)中,若被测物较大,则采用多台光线投射装置同时投射出相同模式的散斑纹理,以覆盖整个被测物,在一次测量过程中要保证物体表面的散斑纹理不发生变化,即确保光线投射装置和被测场景保持绝对静止;标尺放置一把或数把,标尺上设置定位标记点。
作为优选,步骤3)中,多角度全局拍摄时,采用单反相机在不同的位置以不同的姿态进行多角度自由拍摄,同时确保拍摄的图像之间存在部分重叠区域以便建立图像匹配点。
作为优选,步骤4)和步骤6)中的多视图几何求解框架均采用增量式SFM(Structure From Motion)重建算法如Bundler、VisualSFM或者OpenMVG等开源多视图几何算法库来完成。
步骤5)中,带旋转补偿的数字图像相关(RFDIC)方法包括以下步骤:
5.1)当图像之间存在较大旋转角度时,将图像间绕光轴方向的旋转角度分解出来,根据该旋转角度计算出仿射变换矩阵,将存在大旋转的待匹配图像校正为无大旋转角度的校正图像;
5.2)利用数字图像相关(Digital Image Correlation,DIC)算法计算参考图像与校正后的图像之间的匹配点;但在计算相关系数时,以待匹配图像的灰度值代替校正后的图像上对应坐标的灰度值,减少因仿射变换而导致的校正后的图像产生的灰度失真;
5.3)再根据仿射变换矩阵的逆变换计算出待匹配图像上的图像坐标,将校正后的图像上的亚像素坐标变换到待匹配图像上,最终获得图像间高精度匹配点对,即可完成图像序列间高精度匹配点建立的过程。
步骤5.1)中,仿射变换矩阵计算方法如下:
通过权利要求1中步骤(4)获得相机内参K和旋转矩阵
Figure BDA0001991626460000031
Figure BDA0001991626460000032
进行欧拉角分解,即:
Figure BDA0001991626460000033
其中,下标C0表示参考图像I0所在的相机坐标系{C0},上标C1表示待匹配图像I1所在的相机坐标系{C1},
Figure BDA0001991626460000034
表示{C0}坐标系下的三维点变换到{C1}坐标系下的旋转变换矩阵;θxyz分别为按顺序绕{C0}的x轴、y轴和z轴的旋转角度;因此θz可视为图像I0和I1之间绕主点坐标的面内旋转角度,主点坐标可从相机内参K的主点坐标(u0,v0)获得;
5.1.2)绕主点坐标的面内旋转可表达为在I1图像坐标系下的仿射变换矩阵A,计算如下:
Figure BDA0001991626460000041
其中α=cosθz,β=sinθz
5.1.3)利用仿射变换矩阵A将图像I1校正为无旋转角度的图像I′1
步骤5.2)中,在图像I′1上使用常规的数字图像相关(DIC)算法计算相应的匹配点,此时,图像I′1和I0之间已不存在大的旋转角度,可以使用数字图像相关(DIC)方法计算
Figure BDA0001991626460000042
对应的匹配点
Figure BDA0001991626460000043
的图像坐标(x′1,y′1)。但在DIC求解的过程中以待匹配图像I1的灰度值代替校正后的图像I′1对应像素点的灰度值,因为待匹配图像具有原始的灰度分布,校正过后的图像灰度值是经过插值计算得到的,会有一定的灰阶损失,从而影响匹配精度,经过DIC求解过后的
Figure BDA0001991626460000044
的图像坐标为:
x′1=x0+u,y′1=y0+v
其中,(u,v)为参考图像子区中心到校正后图像子区中心的偏移量。
步骤5.3)中,根据仿射变换矩阵Α的逆变换Α-1计算出I1的对应图像点
Figure BDA0001991626460000045
Figure BDA0001991626460000046
有益效果:与现有技术相比,本发明具有以下优点:
本发明的无编码点的工业摄影测量方法通过数字散斑图案生成算法来生成特定模式的散斑图案,并利用光线投射装置向被测物投射该纹理图案以增强表面的纹理信息,只需要在被测物旁放置标尺,进行单相机多角度自由拍摄。借助多视图几何求解框架,本发明对被测场景的图像序列进行“由粗到精”的两次多视图结构重建,最后根据场景中标称距离已知的标尺长度恢复几何尺度,从而得到高精度的相机位姿参数和三维点云。本发明提出的不受旋转角度影响的RFDIC匹配方法,有效地解决了利用传统DIC方法仅大旋转图像间匹配的退相关问题。经过具体工业零件的摄影测量实验,可以验证本发明提出的无编码点的多视图几何结构求解精度可以达到0.01mm/m以内的精度水平,相较于传统的工业摄影中需要布设大量编码点标志物的手段,本发明的优势在于无需布设编码点,节省了大量繁琐的人工布点工作,且测量精度高,测量速度快,适合工业现场的快速测量。
附图说明
图1为本发明无编码点摄影测量方案示意图;
图2为本发明无编码点重建多视图结构的技术路线图;
图3为本发明数字散斑的白色底纹示意图;
图4为本发明随机形状的散斑颗粒;
图5为本发明不同大小的散斑颗粒生成的散斑图案对比;
图6为本发明不同数量的散斑颗粒生成的散斑图案对比;
图7为本发明不同灰度值的散斑颗粒生成的散斑图案对比;
图8为本发明投影散斑的DIC匹配效果;
图9为本发明大旋转角度图像的DIC匹配退相关问题;
图10为本发明带旋转补偿的RFDIC匹配策略;
图11为本发明RFDIC匹配方法的匹配效果;
图12为本发明飞机蒙皮钣金件测量对象;
图13为本发明蒙皮表面重建出的多视图结构。
具体实施方式
下面结合具体实施例,进一步阐明本发明,实施例在以本发明技术方案为前提下进行实施,应理解这些实施例仅用于说明本发明而不用于限制本发明的范围。
本发明使用到的硬件装置包括光线投射装置、标尺和单反相机。测量方案如图1所示,利用一个或多个光线投射装置向被测物投射散斑纹理以覆盖整个表面,并在测量场景中放置标尺,然后利用单反相机围绕被测物进行多角度全局拍摄就可以完成摄影测量的过程。
本发明的关键技术在于如何根据拍摄到的图像序列完成高精度多视图结构的重建。本发明的总体技术路线如图2所示,首先由SIFT算子建立图像间的初始同名匹配点,然后采用增量式SFM重建算法求解初始的相机位姿信息。由于采用SIFT算子的产生的匹配点精度不够,故第一次求解出的多视图结构的精度无法满足工业摄影测量精度要求;接下来利用带旋转补偿的数字图像相关(RFDIC)方法对初始匹配点进行优化求精,而这一步需要用到上一步求解出的相机位姿信息,最后再一次根据SFM算法完成高精度的多视图结构的求解,并根据标尺的长度恢复重建结构的整体尺度,从而得到空间点云和相机的位姿参数。
本发明的无编码点的工业摄影测量方法,总体上主要包括以下步骤:
1)生成随机散斑纹理图案;
2)利用光线投射装置向被测物投射散斑纹理,并在视野范围内放置标尺;
3)利用单反相机围绕被测物进行多角度全局拍摄;
4)利用SIFT算子建立图像序列间的初始匹配关系,采用多视图几何求解框架重建初始的多视图结构,求解出粗略的相机位姿信息;
5)通过步骤4)中得到初始匹配点坐标和相机粗略的位姿矩阵后,利用带旋转补偿的数字图像相关(Rotated Digital Image Correlation,RFDIC)方法计算图像间高精度匹配点;
6)通过步骤5)计算出的图像间高精度匹配点坐标,再次使用多视图几何求解框架完成高精度的多视图结构重建,最后根据标尺的已知长度恢复多视图结构的实际尺度,从而得到精确的相机位姿信息和被测物表面三维点云。
具体的,步骤1)中,
本发明按照喷涂散斑步骤的思路利用程序设计一套数字散斑图案生成算法来生成类似的散斑纹理,数字散斑图案生成算法的步骤包括:生成底色背景步骤和生成散斑颗粒步骤。
在生成底色背景步骤中,由于白色底纹、黑色斑点的散斑纹理更适合后续步骤5)中的带旋转补偿的数字图像相关(RFDIC)方法,因此将图像的像素灰度值设置在较高的值域范围内,生成偏白色的底色背景,并利用随机函数Rnd()为每个大的像素块生成一个随机灰度值,即:
gi=Rnd(gmin,gmax)
式中:gi表示每个像素块的灰度值,gmin,gmax表示设定灰度值的最小值和最大值;
图3为本步骤生成得到的一张较为合理的数字散斑底纹图案,此时gmin设置为150,gmax设置为220。
在生成散斑颗粒步骤中,为了增加散斑图案的纹理随机性,在生成散斑颗粒时要体现出颗粒形状的随机性,本发明采用随机生长法生成随机形状的散斑颗粒,让单个像素点在一个半径大小不固定的圆形区域内生长,而每次判断像素点是否生长到区域边界时,用随机数去设置该区域的半径大小,从而得到形状随机的散斑颗粒。
随机生长法生成随机散斑颗粒的算法为:
输入:种子点坐标seedPoint、区域半径的最小值minRadius、区域半径的最大值maxRadius、像素灰度最小值minGray、像素灰度最大值maxGray
输出:随机形状的散斑颗粒
图4为该算法生成得到的随机形状的散斑颗粒图案。
由于不同的光照背景、测量场景、相机分辨率等因素对散斑特征的要求均不一样。所以本发明的散斑图案生成算法还可以对散斑纹理的各个特性进行调控,以满足不同实验场景下的综合需求。数字散斑图案生成算法可对散斑颗粒的大小、数量、灰度值参数进行调控,以满足不同测量场景对散斑特性的具体要求。通过多次添加不同数量、不同大小、不同灰度值范围的颗粒,可以有效地增加整幅散斑图案的随机性。如图5为设置的不同颗粒大小所生成的散斑图案对比,图6为不同数量的散斑颗粒生成的散斑图案对比;图7为不同灰度值范围下的散斑颗粒生成的散斑纹理图案对比。
在生成得到散斑图案后,本发明对投射出的散斑纹理进行DIC匹配验证,以验证数字散斑纹理生成算法的有效性。采用的DIC匹配算法为基于N-R(Newton-Raphson)算法迭代求解的数字图像相关法,该算法以零均值归一化相关系数(ZNCC)作为评价图像子区的相关准则,当ZNCC系数越接近于1时,表示图像子区的相似程度越高,子区中心点的匹配精度也越高。
首先利用影像投影仪将散斑纹理投射到弯曲的白纸表面,并使用双目CCD相机进行图像采集。接着使用上述的DIC算法计算左右图像的对应匹配像点,匹配结果如图8所示。匹配点的ZNCC系数都达到了0.99以上,该结果验证了上文数字散斑纹理生成算法的有效性。
具体的,步骤2)中,
由于工业零件的表面通常比较光滑,缺乏丰富的纹理信息,所以需要人为地增加表面的纹理。本发明采用投射散斑的方式为表面增加纹理,以便SIFT算子和RFDIC算法建立有效的图像匹配点。
若被测物较大,则采用多台光线投射装置同时投射出相同模式的散斑纹理,以覆盖整个被测物,在一次测量过程中要保证物体表面的散斑纹理不发生变化,即确保光线投射装置和被测场景保持绝对静止;标尺放置一把或数把,用来对重建结构恢复尺度,标尺上设置定位标记点。
具体的,步骤3)中,
在把散斑纹理投射到被测物表面后,接下来就需要利用单反相机对测量场景进行自由拍摄。全局拍摄时,确保单反相机在不同的位置以不同的姿态进行多角度大范围的自由拍摄,同时拍摄的图像之间存在部分重叠区域以便建立图像匹配点。
具体的,步骤4)中,
工业零件的表面并没有丰富的易于识别的特征信息,但经过投射散斑增强表面纹理后,被测物表面的特征就变得十分显著。此时,可以利用SIFT或SURF等描述算子提取图像间的匹配点,SIFT即尺度不变特征变换(Scale-invariant feature transform,SIFT),SURF即(Speeded Up Robust Features,SURF)。步骤4)采用SIFT算子提取图像间的特征匹配点,并采用增量式SFM重建算法完成相机位姿的初始求解。
具体的,步骤5)中,
由于步骤4)中SIFT算子计算匹配点的精度不够高,因此通过SFM算法求解出的相机位姿不够精确,无法达到工业摄影测量的精度要求。所以需要通过步骤5)进一步提高像点匹配精度,而步骤4)对于步骤5)来说是必不可少的,因为步骤5)依赖于步骤4)求解出的相机位姿信息。
当具备了相机的内参和位姿信息后就可以根据RFDIC方法对SIFT算子提取的初始匹配点进行优化求精。接着再次采用SFM算法对相机位姿进行优化求解,最后根据标尺长度对整体重建的结构进行尺度恢复。
对于具有散斑纹理的图像来说,常规的DIC算法虽然能够精确、快速地计算图像上的匹配点,但是当图像之间在绕相机光轴方向上产生了较大的旋转角度,DIC会出现退相关效应,导致算法的误匹配率升高、匹配精度和质量下降。如图9所示,两幅图像之间的旋转角度达到了30°时,待匹配图像上开始出现大量的误匹配点,且正确匹配的ZNCC系数也下降到了0.90以下。
由于摄影测量的步骤要求使用单相机对被测物进行自由拍照,那么相机在自由拍摄的过程中必然会使得图像间产生大的旋转角度。在建立图像点之间的匹配关系的方法上,传统的DIC方法不再适用。此时就需要寻求一种不受图像旋转角度限制的匹配方法,以此来计算图像上高精度匹配点。本发明解决该问题的方法是采用一种带旋转补偿的数字图像相关(Rotation Free Image Correlation,RFDIC)方法。
RFDIC方法的思路是首先将旋转角度较大的待匹配图像通过仿射变换校正过来,使其成为沿光轴方向无大旋转的图像,对参考图像和校正后的图像施加DIC运算,寻找到它们之间的匹配点对,再根据仿射变换的逆变换求出待匹配图像与参考图像间对应的匹配点,这样就可以解决存在大旋转角度的图像之间的匹配问题。但是这里并不是直接对待匹配图像的灰度进行校正,因为这样校正得到的校正后的图像的灰度值是在待匹配图像灰度值的基础上经过插值计算求得的,图像的灰度信息会有一部分丢失,从而影响DIC匹配的精度。本发明采用的做法是将待匹配图像子区内的每个亚像素点通过仿射变换转换到一个校正后的图像坐标系下,然后将校正后图像坐标系下的图像点带入一阶位移模式当中参与优化求解,而校正后图像坐标系下的图像点对应的灰度值依然在待匹配图像上求取以计算ZNCC相关系数。
具体的,带旋转补偿的数字图像相关方法包括以下步骤:
步骤5.1)当图像之间存在较大旋转角度时,根据步骤4)求解出的相机位姿矩阵,由欧拉角变换方法将图像间绕光轴方向的旋转角度分解出来,根据该旋转角度计算出仿射变换矩阵,将存在大旋转的待匹配图像校正为无大旋转角度的校正图像;
步骤5.2)由于参考图像与校正后的图像之间不存在大的旋转角度,利用DIC算法计算参考图像与校正后的图像之间的匹配点;但在计算相关系数时,以待匹配图像的灰度值代替校正后的图像上对应坐标的灰度值,减少因仿射变换而导致的校正后的图像产生的灰度失真;
步骤5.3)再根据仿射变换的逆变换计算出待匹配图像上的图像坐标,将校正后的图像上的亚像素坐标变换到待匹配图像上,最终获得图像间高精度匹配点对,即可完成图像序列间高精度匹配点建立的过程。
如图10所示,假设左右两幅图像I0和I1之间存在较大的旋转角度,
Figure BDA0001991626460000101
为参考图像子区S0上的中心点,
Figure BDA0001991626460000102
为待匹配图像子区S1上对应的待匹配点。I0和I1对应的相机内参数为K,相机之间的旋转变换矩阵为
Figure BDA0001991626460000103
K和
Figure BDA0001991626460000104
在步骤4)中获得。其中,下标C0表示参考图像I0所在的相机坐标系{C0},上标C1表示待匹配图像I1所在的相机坐标系{C1},
Figure BDA0001991626460000105
表示{C0}坐标系下的三维点变换到{C1}坐标系下的旋转变换矩阵。由于I0和I1之间存在较大的旋转角度,直接根据DIC方法建立两者之间准确的匹配关系较为困难。
带旋转补偿的数字图像相关方法的具体计算步骤如下:
1),对
Figure BDA0001991626460000106
进行欧拉角分解,即:
Figure BDA0001991626460000107
其中,θxyz分别为按顺序绕{C0}的x轴、y轴和z轴的旋转角度。因此θz可视为图像I0和I1之间绕主点坐标的面内旋转角度,主点坐标可从相机内参K的主点坐标(u0,v0)获得;
绕主点坐标的面内旋转可表达为在I1图像坐标系下的仿射变换矩阵A,计算如下:
Figure BDA0001991626460000108
其中α=cosθz,β=sinθz
利用仿射变换矩阵A将图像I1校正为无旋转角度的图像I′1
2),在图像I′1上使用DIC算法计算相应的匹配点。此时,图像I′1和I0之间已不存在大的旋转角度,可以使用DIC方法计算
Figure BDA0001991626460000111
对应的匹配点
Figure BDA0001991626460000112
的图像坐标(x′1,y′1),但在DIC求解的过程中以待匹配图像I1的灰度值代替校正后的图像I′1对应像素点的灰度值,因为待匹配图像具有原始的灰度分布,校正过后的图像灰度值是经过插值计算得到的,会有一定的灰阶损失,从而影响匹配精度。经过DIC迭代求解过后的
Figure BDA0001991626460000113
的图像坐标为:
x′1=x0+u,y′1=y0+v
其中,(u,v)为参考图像子区中心到校正后图像子区中心的偏移量。
3),根据仿射变换矩阵Α的逆变换Α-1计算出I1的对应图像点
Figure BDA0001991626460000114
Figure BDA0001991626460000115
对带旋转补偿的数字图像相关方法进行大旋转图像的DIC匹配验证。利用两个存在大旋转角度的双目CCD相机采集散斑纹理图案,该双目相机的内、外参数事先经过标定计算得到,对带旋转补偿的数字图像相关方法的匹配结果如图11所示。从该结果可以看出本发明提出的带旋转补偿的数字图像相关方法可以有效地解决大旋转图像的像点匹配问题,且匹配点的ZNCC相关系数平均在0.99以上,并未损失掉匹配精度。
由上述的带旋转补偿的数字图像相关方法可知,该方法需要利用到已有的相机内参及位姿信息。但是对于单相机自由拍照的方式来说,相机的内、外参数是未知的,也是多视图几何需要求解的参数。并且DIC计算高精度匹配点需要给定一对初始匹配点,而通过人工选取初始匹配点显然并不合适。所以步骤4)中利用SIFT算子建立图像的初始匹配点并求解相机的初始位姿信息是十分必要的。
具体的,步骤6)中,
步骤6)最后通过标尺的已知长度来恢复重建结构的实际尺度,故标尺的两端的定位中心点同样需要作为图像匹配点参与多视图结构的整体求解。此外,通过多根标尺综合恢复尺度的办法能进一步减小重建结构的整体误差。
下面以飞机蒙皮钣金零件作为测量对象,试验本发明的方法:
如图12所示为飞机蒙皮钣金零件,在零件两旁放置两把绝对长度已知的标尺,一把用于恢复多视图结构的尺度,另一把用于验证重建精度,利用投影仪向被测物投射散斑纹理,采用单反相机围绕蒙皮凹侧一面以不同的位置和姿态自由拍摄共16张照片,并根据本发明的多视图结构重建方法完成相机位姿的求解和点云的重建过程,最终重建出的点云和相机中心位置如图13所示。
由SIFT算子和RFDIC算法前后两次重建的多视图结构的重投影误差结果如表1所示。由该结果可以看出,SIFT算子重建的初始结构的重投影误差平均为0.12像素,RFDIC算法重建的高精度结构的重投影误差平均为0.05像素,精度提升显著。
将本发明与传统的布设编码点方式的摄影测量精度进行了对比,对比结果如表2所示。该结果显示,SIFT算子建立匹配点的方式重建的标尺长度误差约在0.116mm,该误差相对较大,还无法满足工业摄影测量的精度要求;而RFDIC算法建立匹配点的方式重建的标尺长度误差下降到了约0.005mm,与布设编码点的方式重建的0.003mm的标尺长度误差水平相当,达到了工业摄影测量的精度要求。
表1多视图结构的重投影误差结果对比
Figure BDA0001991626460000121
表2标尺长度的重建结果及误差对比
Figure BDA0001991626460000122

Claims (8)

1.一种无编码点的工业摄影测量方法,其特征在于,包括以下步骤:
1)生成随机散斑纹理图案;
2)利用光线投射装置向被测物投射散斑纹理,并在视野范围内放置标尺;
3)利用相机围绕被测物进行多角度全局拍摄;
4)利用SIFT算子建立图像序列间的初始匹配关系,采用多视图几何求解框架重建初始的多视图结构,求解出粗略的相机位姿信息;
5)通过步骤4)中得到初始匹配点坐标和相机粗略的位姿矩阵后,利用带旋转补偿的数字图像相关方法计算图像间高精度匹配点;
带旋转补偿的数字图像相关方法包括以下步骤:
5.1)当图像之间存在较大旋转角度时,将图像间绕光轴方向的旋转角度分解出来,根据该旋转角度计算出仿射变换矩阵,将存在大旋转的待匹配图像校正为无大旋转角度的校正图像;
5.2)利用数字图像相关算法计算参考图像与校正后的图像之间的匹配点;但在计算相关系数时,以待匹配图像的灰度值代替校正后的图像上对应坐标的灰度值;
5.3)通过仿射变换矩阵的逆变换,将校正后的图像上的亚像素坐标变换到待匹配图像上,最终获得图像间高精度匹配点对,即可完成图像序列间高精度匹配点建立的过程;
根据仿射变换矩阵Α的逆变换Α-1计算出I1的对应图像点
Figure FDA0002771865640000011
Figure FDA0002771865640000012
式中:I1表示待匹配图像,
I′1为待匹配图像I1校正后的无旋转角度的图像,
Figure FDA0002771865640000013
为参考图像I0对应的图像点;
Figure FDA0002771865640000014
对应的匹配点
Figure FDA0002771865640000015
的图像坐标为(x′1,y′1);
6)通过步骤5)计算出的图像间高精度匹配点坐标,再次使用多视图几何求解框架完成高精度的多视图结构重建,最后根据标尺的已知长度恢复多视图结构的实际尺度,从而得到精确的相机位姿信息和被测物表面三维点云。
2.根据权利要求1所述的无编码点的工业摄影测量方法,其特征在于:步骤1)中,利用数字散斑图案生成算法生成随机散斑纹理,所述数字散斑图案生成算法的步骤包括:生成底色背景步骤和生成散斑颗粒步骤,所述数字散斑图案生成算法可对散斑颗粒的大小、数量、灰度值参数进行调控。
3.根据权利要求2所述的无编码点的工业摄影测量方法,其特征在于:
在生成底色背景步骤中,生成偏白色的底色背景,并利用随机函数Rnd()为每个大的像素块生成一个随机灰度值,即:
gi=Rnd(gmin,gmax)
式中:gi表示每个像素块的灰度值,
gmin,gmax表示设定灰度值的最小值和最大值;
在生成散斑颗粒步骤中,采用随机生长法生成随机形状的散斑颗粒,让单个像素点在一个半径大小不固定的圆形区域内生长,而每次判断像素点是否生长到区域边界时,用随机数去设置该区域的半径大小,从而得到形状随机的散斑颗粒。
4.根据权利要求1或3所述的无编码点的工业摄影测量方法,其特征在于:步骤2)中,若被测物较大,则采用多台光线投射装置同时投射出的散斑纹理,以覆盖整个被测物,在一次测量过程中保证物体表面的散斑纹理不发生变化,即确保光线投射装置和被测场景保持绝对静止;标尺放置一把或数把,标尺上设置定位标记点。
5.根据权利要求1所述的无编码点的工业摄影测量方法,其特征在于:步骤3)中,全局拍摄时,采用单反相机在不同的位置以不同的姿态进行多角度自由拍摄,同时确保拍摄的图像之间存在部分重叠区域以便建立图像匹配点。
6.根据权利要求1所述的无编码点的工业摄影测量方法,其特征在于:步骤4)和步骤6)中的多视图几何求解框架均采用增量式SFM重建算法完成。
7.根据权利要求1所述的无编码点的工业摄影测量方法,其特征在于:步骤5.1)中,仿射变换矩阵计算方法如下:
5.1.1)通过权利要求1中步骤4)获得相机内参K和旋转矩阵
Figure FDA0002771865640000021
Figure FDA0002771865640000022
进行欧拉角分解,即:
Figure FDA0002771865640000031
其中,下标C0表示参考图像I0所在的相机坐标系{C0},上标C1表示待匹配图像I1所在的相机坐标系{C1},
Figure FDA0002771865640000032
表示{C0}坐标系下的三维点变换到{C1}坐标系下的旋转变换矩阵,θxyz分别为按顺序绕{C0}的x轴、y轴和z轴的旋转角度,因此θz视为图像I0和I1之间绕主点坐标的面内旋转角度,主点坐标从相机内参K的主点坐标(u0,v0)获得;
5.1.2)绕主点坐标的面内旋转可表达为在I1图像坐标系下的仿射变换矩阵A,计算如下:
Figure FDA0002771865640000033
其中,α=cosθz,β=sinθz
5.1.3)利用仿射变换矩阵A将图像I1校正为无旋转角度的图像I′1
8.根据权利要求7所述的无编码点的工业摄影测量方法,其特征在于:步骤5.2)中,在图像I′1上使用数字图像相关算法计算相应的匹配点,此时,图像I′1和I0之间已不存在大的旋转角度,使用数字图像相关算法计算
Figure FDA0002771865640000034
对应的匹配点
Figure FDA0002771865640000035
的图像坐标(x′1,y′1),但在求解的过程中以待匹配图像I1的灰度值代替校正后的图像I′1对应像素点的灰度值,经过数字图像相关算法求解过后的
Figure FDA0002771865640000036
的图像坐标为:
x′1=x0+u,y′1=y0+v
其中,(u,v)为参考图像子区中心到校正后图像子区中心的偏移量。
CN201910202543.4A 2019-03-11 2019-03-11 一种无编码点的工业摄影测量方法 Active CN109945841B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910202543.4A CN109945841B (zh) 2019-03-11 2019-03-11 一种无编码点的工业摄影测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910202543.4A CN109945841B (zh) 2019-03-11 2019-03-11 一种无编码点的工业摄影测量方法

Publications (2)

Publication Number Publication Date
CN109945841A CN109945841A (zh) 2019-06-28
CN109945841B true CN109945841B (zh) 2021-03-12

Family

ID=67008459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910202543.4A Active CN109945841B (zh) 2019-03-11 2019-03-11 一种无编码点的工业摄影测量方法

Country Status (1)

Country Link
CN (1) CN109945841B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619140B (zh) * 2019-07-16 2023-05-09 中铁十八局集团第四工程有限公司 一种预制节段梁模板的精准化快速调整方法
CN111524238B (zh) * 2020-04-23 2022-02-01 南京航空航天大学 一种基于编码点驱动的三维点云变形方法
CN111637850B (zh) * 2020-05-29 2021-10-26 南京航空航天大学 一种无需主动视觉标记的自拼接表面点云测量方法
CN113838111A (zh) * 2021-08-09 2021-12-24 北京中科慧眼科技有限公司 一种道路纹理特征检测方法、装置与自动驾驶系统
CN113715550B (zh) * 2021-08-18 2023-03-28 国高材高分子材料产业创新中心有限公司 一种散斑图制作装置和方法
CN117437303B (zh) * 2023-12-18 2024-02-23 江苏尚诚能源科技有限公司 一种标定相机外参的方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015134795A2 (en) * 2014-03-05 2015-09-11 Smart Picture Technologies, Inc. Method and system for 3d capture based on structure from motion with pose detection tool
CN106651942B (zh) * 2016-09-29 2019-09-17 苏州中科广视文化科技有限公司 基于特征点的三维旋转运动检测与旋转轴定位方法
CN106556356A (zh) * 2016-12-07 2017-04-05 西安知象光电科技有限公司 一种多角度三维轮廓测量系统及测量方法

Also Published As

Publication number Publication date
CN109945841A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109945841B (zh) 一种无编码点的工业摄影测量方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
Furukawa et al. Accurate camera calibration from multi-view stereo and bundle adjustment
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
KR100966592B1 (ko) 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN109993696B (zh) 基于多视点图像的结构物表观全景图矫正拼接方法
JP6041513B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4824022B2 (ja) 非均一分解能で合成イメージを用意する方法
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
US10169891B2 (en) Producing three-dimensional representation based on images of a person
CN113592721B (zh) 摄影测量方法、装置、设备及存储介质
CN110599578A (zh) 一种真实感三维彩色纹理重建方法
CN108182722B (zh) 一种三维物体边缘优化的真正射影像生成方法
EP3382645A2 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
CN112815843B (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
KR101602472B1 (ko) 2차원 이미지 변환을 통한 3차원 프린팅 파일 생성 장치 및 방법
Pathak et al. Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification
CN112598789A (zh) 图像纹理重建方法、装置、设备及存储介质
CN110619601A (zh) 一种基于三维模型的图像数据集生成方法
CN108898550B (zh) 基于空间三角面片拟合的图像拼接方法
CN111131801A (zh) 投影仪校正系统、方法及投影仪
CN106023319A (zh) 一种基于ccd照片的激光点云地物目标结构特征修补方法
CN116152121B (zh) 基于畸变参数的曲面屏生成方法、矫正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant