CN114359652A - 一种基于深度学习和单目大视场平面测量的定位检测方法 - Google Patents

一种基于深度学习和单目大视场平面测量的定位检测方法 Download PDF

Info

Publication number
CN114359652A
CN114359652A CN202111461942.6A CN202111461942A CN114359652A CN 114359652 A CN114359652 A CN 114359652A CN 202111461942 A CN202111461942 A CN 202111461942A CN 114359652 A CN114359652 A CN 114359652A
Authority
CN
China
Prior art keywords
plane
calibration
image
coordinate system
chessboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111461942.6A
Other languages
English (en)
Inventor
程玉瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202111461942.6A priority Critical patent/CN114359652A/zh
Publication of CN114359652A publication Critical patent/CN114359652A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于深度学习和单目大视场平面测量的定位检测方法,首先建立标定系统,分别设定测量平面与标定平面,测量平面为待测物所在平面,所设定的标定平面与测量平面相平行,并记下两平面间距离h;在标定平面中放置若干标定棋盘,并将其中第1号标定棋盘坐标系选定为整个标定平面坐标系,之后找出标定平面、测量平面和图像平面三者之间的对应变换关系,最后基于图像识别技术,采集待测物图像,依据图像中所放置的标定物推导出上述平面之间的变换关系,并以此关系将图像中的待测物像素坐标变换到真实空间坐标,达到定位检测的目的。本发明所需硬件设备十分寻常,能够适用于例如钢筋定位检查工作,解放劳动力。

Description

一种基于深度学习和单目大视场平面测量的定位检测方法
技术领域
本发明属于图像识别以及土木工程测量技术领域,具体涉及一种基于深度学习和单目大视场平面测量的定位检测方法。
背景技术
在现如今的土木工程建设当中,预制结构由于交通中断少、现场施工时间短、总体施工质量较高以及安全等优点,已被广泛地采用。预制构件是在施工工地附近的工厂中制造,然后整体性地运输至工程现场,并与相应的地基进行连接组装作业。在连接作业时,将预埋在预制件底部的套筒对准并向下套住地基上的钢筋,之后往套筒内灌浆以此使得预制件与地基连接稳固。为保证预制件安装顺利,在施工前检查钢筋位置以及钢筋间距等参数是否符合设计要求十分重要,在目前实践中,对于钢筋位置尺寸的检测主要依赖于现场工人使用卷尺进行手工丈量,此种纯人工的检测方法非常费时费力,尤其是对于大型或复杂结构的预制件安装工作而言。
现有技术中,已有基于激光扫描技术实现较为准确的三维空间数据测量,例如Kim等人开发的一种激光扫描技术,可以自动评估钢筋混凝土元件的关键尺寸,但是其方法需要将钢筋直径作为输入参数,故限制了在钢筋尺寸未知情况下的应用;Nishio等人提出了一种从钢筋点云数据中提取芯丝的方法,但是此项研究还无法进一步分析钢筋间距。同时上述激光扫描技术在实际使用时,通常需要较长时间进行设置,并且需要有相应知识的专家才能操作,而且扫描仪的硬件成本仍然太高,故以上种种使得激光扫描技术在钢筋间距这类简单事项上较难得到推广应用。
相比较而言,数码摄影的成本较低,同时伴随着计算机视觉技术的发展,当前已能够通过相应软件算法实现对图像中的物体进行检测识别及提取。因此,如何利用图像识别技术实现钢筋测量定位,是一个较为可行的研究方向。
发明内容
针对现有技术中存在的不足,本发明提供了一种基于深度学习和单目大视场平面测量的定位检测方法,以实现较低成本地替代人工测量钢筋位置。
本发明通过以下技术手段实现上述技术目的。
一种基于深度学习和单目大视场平面测量的定位检测方法:建立标定系统,分别设定测量平面与标定平面,所述测量平面为待测物所在平面,所设定的标定平面与测量平面相平行,记测量平面距离标定平面的距离为h;
在标定平面中放置若干标定物,设其中第i号标定物坐标系为
Figure BDA0003388086370000021
并将其中第1号标定物坐标系
Figure BDA0003388086370000022
选定为整个标定平面坐标系,记为OT=XTYTZT,设相机坐标系为OC-XCYCZC,则任一标定物上坐标点(xij,yij,0)与其所在相机图像中的像素坐标(uij,vij)之间对应关系为:
Figure BDA0003388086370000023
其中下标ij表示第i个标定物上第j个点,s是比例因子,K为相机的固有矩阵,
Figure BDA0003388086370000024
Figure BDA0003388086370000025
RT和TT分别为标定平面坐标系OT=XTYTZT向相机坐标系OC-XCYCZC转换的旋转矩阵和变换向量,
Figure BDA0003388086370000026
Figure BDA0003388086370000027
分别为第i号标定物坐标系
Figure BDA0003388086370000028
向相机坐标系OC-XCYCZC变换的旋转矩阵和变换向量,
Figure BDA0003388086370000029
Figure BDA00033880863700000210
分别表示为第1号标定物坐标系
Figure BDA00033880863700000211
向相机坐标系OC-XCYCZC变换的旋转矩阵和变换向量;
设测量平面上任一点PM,则点PM在标定平面坐标系OT=XTYTZT下的坐标为(xM,yM,h),点PM在相机图像上相对应的像素坐标为(uM,vM),则有:
Figure BDA00033880863700000212
采集待测物图像,首先利用图像中的标定物反推出参数s、K、RT、TT的取值,之后基于图像识别技术,利用神经网络模型检测识别出图像中的待测物,并输出待测物的像素坐标(uM,vM),最后将像素坐标转换为空间坐标(xM,yM,h),实现定位检测。
进一步地,所述标定物为棋盘。
进一步地,所述标定物数量大于5个,多个标定物均匀铺满相机视场范围。
进一步地,采集图像后,使用Harris角点检测器检测图像中各个棋盘上的网格点,得到网格点的像素坐标(uij,vij),将检测出的网格点作为检测点,根据网格点在各自棋盘上的空间坐标(xij,yij,0),反推出参数s、K、RT、TT的取值。
进一步地,采用最小二乘优化算法寻找参数s、K、RT、TT的取值,优化目标为检测点与相应图像中的投影点之间总重投影误差最小。
进一步地,各个标定棋盘测量值与真实值之间的误差计算公式为:
Figure BDA0003388086370000031
其中NX和NY分别为棋盘上X方向和Y方向的方格数,d为棋盘上方格边长的真实值,
Figure BDA0003388086370000032
为小棋盘X方向上第a个方格边长的测量值,
Figure BDA0003388086370000033
为小棋盘Y方向上第b个方格边长的测量值。
进一步地,应用于钢筋定位检测,选择钢筋顶端平面作为测量平面,选择地面作为标定平面,测量平面距离标定平面的距离h为钢筋的高度。
进一步地,所述神经网络模型为YOLO v5l。
进一步地,在制作数据集训练神经网络模型阶段,采用Mosaic数据增强技术丰富数据集。
进一步地,训练神经网络模型时,mini-batch的大小设置为4,初始学习率设置为0.01,通过余弦退火策略进行动态调整,训练周期固定在1000。
本发明的有益效果为:
(1)本发明提供了一种基于深度学习和单目大视场平面测量的定位检测方法,通过在待测物周围随意散布若干标定棋盘,从而构建出单目大视场测量的标定系统,之后与图像识别技术相结合,实现完全智能化地对待测物的检测定位工作。
(2)本发明检测方法十分适用于现行土木工程建设当中,预制件连接安装前的钢筋检查工作,能够极大地提高检查效率,同时也降低了现场工人在高空检查作业当中的安全隐患。
(3)本发明检测方法,所需用到的硬件设备十分寻常,例如无人机、无人机或手机等,只要能够从高处拍摄获取地面照片即可,并且之后的测量定位操作,也可以自动化的交由相应编写好的程序完成,因此对于操作人员的培训要求也十分简单,故本发明方法的可推广性较高。
附图说明
图1为本发明定位检测方法步骤流程图;
图2为用于连接预制件的钢筋实拍照片;
图3为待测物顶端设置大标尺示意图;
图4为待测物底端设置大标尺示意图;
图5为本发明标定系统示意图;
图6为对本发明方法进行测试的测试场地布置照片;
图7为1至9张标定棋盘的摆放图;
图8为13张测试棋盘的摆放图;
图9(a)为1至5张标定棋盘下的测量误差曲线图;
图9(b)为5至9张标定棋盘下的测量误差曲线图;
图10为测试不同测量高度的场地布置示意照片;
图11为不同测量平面高度下的测量误差曲线图;
图12为钢筋数据集中的典型样本示例;
图13为检查桥墩承台钢筋的拍摄图像;
图14为桥墩承台钢筋设计图;
图15为桥墩承台钢筋位置检测结果图;
图16为桥墩承台钢筋实测位置相对设计位置的偏差量柱状图;
图17为检查桥墩钢筋的拍摄图像;
图18为桥墩钢筋位置检测结果图;
图19为桥墩钢筋实测位置相对设计位置的偏差量柱状图。
具体实施方式
下面详细描述本发明的实施例,所示实施例的示例在附图中示出,其中自始至终相通或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
一、技术方案
如图1所示为本发明定位检测方法的步骤流程图,主要包括两部分,其中一部分是选择合适的神经网络模型并加以训练,之后利用训练好的网络模型对现场所拍摄的图像进行检测识别,目标是检测出图像中的每个待测物(即钢筋),此部分对应于图1中的步骤1和步骤2;另一部分则是建立适宜的标定系统,以获得测量平面(钢筋顶端所在平面)与相机拍摄的图像平面之间的转换关系,也即图像上像素点与真实空间位置之间的对应关系,此部分对应于图1中的步骤3;最后结合图像中检测出的待测物(钢筋顶端)及其像素点位,与标定出的图像平面与测量平面之间的转换关系,计算出每根钢筋所在的实际空间位置或钢筋之间的间距。
具体步骤如下:
1.网络模型
采用YOLO v5网络模型,在训练阶段,使用相机分别从不同角度以及不同站点位置拍摄多张钢筋图像,形成训练集,之后采用Mosaic数据增强技术丰富训练集,最后利用训练集训练YOLO v5网络模型,使其能够准确地检测识别出图像中的钢筋,并对外输出相应的识别结果,包括钢筋的边界框、钢筋截面中心的像素坐标等。
在制作训练集的过程中,还包括对图像进行预处理、对图像进行标记等步骤,制作训练集以训练神经网络模型属于机器深度学习领域的基础常规操作,故在此不多做赘述。
2.标定
单目相机所拍摄的图像中,仅能得到两点之间的像素间距,也即利用上一步训练好的网络模型,最多只能测得各钢筋在图像中的像素点位或两钢筋在图像上间隔多少像素;而要从单一图像中计算出真实的空间距离,则需要在图像内设置参照物,例如在被拍摄物体边放置一把标准长度的尺作为参照,由此后期技术人员就能够通过单一图像获得相应的真实空间距离信息。因此标定的目的是为了求得图像像素与真实空间距离之间的对应关系,基本原理则是在被拍摄物体边设置参照物。不过上述理论在实际操作中情况更为复杂:①相机通常不是正对被拍摄物,也即图像平面与测量平面之间存在角度偏差,因而图像与待测面之间不是简单的缩放关系;②不可能在每一个需要测量的尺寸旁边都相应贴合放置一把参照标尺。
1)测量平面
如图2所示为用于连接预制件的地基钢筋照片,所有钢筋露出地面的高度相同或可近似认为相同,也即所有钢筋顶端处于同一平面,且此平面与地面平行,同时相比于钢筋露出部分的底端或其他任意部位,在拍摄照片获取图像时,钢筋顶端无遮挡干扰且容易辨识,因此本发明选择钢筋顶端平面作为测量平面。图2画面所示即为图像平面,很明显看出,图像平面与测量平面之间存在角度偏差,因此本发明中标定是为获得测量平面与图像平面之间的单应矩阵,从而通过单应矩阵,将图像平面上的像素点变换到测量平面上。
2)参照标尺
参照标尺也即标定物,在设置参照标尺时,理论上最好情况是直接在测量平面上设置一个能够完全覆盖全部被测物(即钢筋)的大标尺,例如图3所示,类似于西洋棋盘形式,以下简称为棋盘,通过已知的小方格长度,推算出相应各钢筋顶端位置以及钢筋之间的间距。但是在钢筋顶端设置大棋盘并不现实,而如图4所示,在钢筋底端所在的地面上设置大棋盘,也由于具体现场施工环境的不同,也不是完全适用,并且如果刻意追求大棋盘铺设的全面精准,反而又与本发明简化施工现场钢筋测量定位的初衷背道而驰。因此本发明提出以多个小棋盘的方式建立标定系统。
如图5所示,在地面上任意布置若干小棋盘,各棋盘之间无需保持横竖平行,相互之间可以存在角度偏差,并且相互间距也可以不等;小棋盘所在平面即为标定平面,钢筋顶端距地面高h,故测量平面距离标定平面高度为h,相机由高处向下拍摄图像,具体相机倾角不定,当然也可以正对地面竖直向下拍摄。基于此,设相机拍摄图像所在的空间坐标系为OC-XCYCZC,第i号棋盘的空间坐标系为
Figure BDA0003388086370000051
并将其中第1号棋盘的空间坐标系
Figure BDA0003388086370000052
定为整个标定平面的坐标系,记为OT=XTYTZT;具体每个小棋盘的编号可任意编排,以及当然也可以将其他编号小棋盘空间坐标系选定为整个标定平面的坐标系。
当然,除了棋盘外,还可以选择其他形式的标定物,例如Halcon标定板、圆网格等,标定物的目的只是用于给出一个已知坐标系及其上若干已知的坐标点位,以进行相应标定工作,因棋盘是最常用的一种相机标定物,故本实施例中具体以标定棋盘为例进行示例性说明。
3)小棋盘合并
设空间中一点P,其在相机坐标系OC-XCYCZC下的坐标为(x,y,z),在第i号棋盘坐标系
Figure BDA00033880863700000614
下的空间坐标为(xi,yi,zi),则点P在两空间坐标系下的转换关系为:
Figure BDA0003388086370000061
式(1)也可书写成:
Figure BDA0003388086370000062
其中R为旋转矩阵,T为变换向量,相应的,
Figure BDA0003388086370000063
Figure BDA0003388086370000064
分别表示为第i号棋盘的空间坐标系
Figure BDA0003388086370000065
向相机空间坐标系OC-XCYCZC变换的旋转矩阵和变换向量。具体R和T的矩阵形式为:
Figure BDA0003388086370000066
Figure BDA0003388086370000067
对于第1号棋盘的空间坐标
Figure BDA0003388086370000068
向OC-XCYCZC转换相应也有:
Figure BDA0003388086370000069
则根据式(1)和式(2),可以推导出
Figure BDA00033880863700000610
Figure BDA00033880863700000611
的转换关系:
Figure BDA00033880863700000612
分别记
Figure BDA00033880863700000613
则对于任意第i个小棋盘,其上坐标都能通过各自相对应的RTi和TTi转换到第1号棋盘的空间坐标系下,而第1号棋盘的空间坐标系又被设定为整个标定平面的空间坐标系,也即通过上述变换,可以将每个分立的小棋盘上的坐标都统一转换到标定平面的空间坐标系OT=XTXTZT下,由此将多个小棋盘合并为一个拥有较大覆盖范围的大棋盘。
4)标定平面至图像平面
设空间中一点W在标定平面坐标系OT=XTYTZT下的坐标为(xw,yw,zw),在相机所拍图像中的像素坐标为(u,v);对于目前空间中点在相机成像平面上的投影关系,通常采用针孔模型,也即通过透视变换,将空间三维坐标(xw,yw,zw)与像素坐标(u,v)相联系起来,具体对应关系公式为:
Figure BDA0003388086370000071
其中s是一个比例因子,K为相机的固有矩阵,RT和TT的含义同前文,分别为标定平面坐标系OT=XTYTZT向相机坐标系OC-XCYCZC转换的旋转矩阵和变换向量,因本实施例中标定平面的空间坐标系就是第1号棋盘的空间坐标系,故这里
Figure BDA0003388086370000072
具体K的矩阵形式为:
Figure BDA0003388086370000073
综合式(4)和式(3),可得出任一小棋盘上点的坐标与相机图像中像素坐标的对应关系:
Figure BDA0003388086370000074
其中下标ij表示第i个小棋盘上第j个点,因棋盘都为平面,故棋盘上的点的纵坐标zij=0,因此点ij在相应小棋盘上坐标为(xij,yij,0),相对应的图像像素坐标为(uij,vij)。
因为棋盘尺寸是已知的,也即任意小棋盘上的任意点在各自小棋盘上的坐标(xij,yij,0)是已知的,同时相对应的图像像素坐标(uij,vij)也已知;因而基于公式(5),可以通过在棋盘上选定若干点作为检测点,反推出参数s、K、RT、TT的取值。为保证精度,可以采用最小二乘优化算法找出参数的最佳取值,以使得被检测点与相应图像中的投影点之间总重投影误差最小。
5)标定平面至测量平面
由前文已知,测量平面位于标定平面上方,且距离为h,具体h的数值可通过实地测量获得;因为测量平面与标定平面平行,故标定平面至测量平面之间的旋转矩阵为单位矩阵RTM=I,平移向量TTM=[0 0 h]T。因此测量平面上任一点PM在标定平面坐标系OT=XTYTZT下的空间坐标为(xM,yM,h),根据式(4)可得点PM的空间坐标(xM,yM,h)与其在图像上的像素坐标(uM,vM)的转换关系为:
Figure BDA0003388086370000081
3.钢筋测量定位
根据前文所述标定方法,在钢筋周围地面摆放多个小棋盘并拍摄图像,之后则在电脑后台中,一方面通过在小棋盘上选取若干检测点,反推出式(6)中的参数s、K、RT、TT的取值,另一方面通过前文所述训练得到的网络模型对钢筋顶端进行检测识别,并输出相应的像素点坐标(uM,vM)。最后根据式(6),得到每根钢筋顶端的真实空间坐标(xM,yM,h);在有了相应钢筋坐标后,只需要根据平面上两点(xa,ya)至(xb,yb)之间的距离公式
Figure BDA0003388086370000082
即可求得两钢筋之间的间距。
二、效果测试
1.小棋盘数量对精度的影响
如图6所示,在实验室地面上架设一台相机,相机距离地面1.9m高,调节相机斜向下拍摄,在相机视场所能捕捉到的地面范围内,分几组摆放不同数量的小棋盘作为标定棋盘,为尽量减少标定棋盘的位置分布对试验的影响,所有摆放均采用均匀铺满相机视场的方式,并且尽量保证各棋盘之间横竖保持平行;所有棋盘的形状尺寸完全相同,棋盘上的白色或黑色小方格尺寸为45*45mm。
如图7所示,本测试中分别测试了摆放1个至9个标定棋盘,从而相应得到9组参数s、K、RT、TT的取值。
如图8所示,保持相机位置角度不变,重新在相机视场内均匀摆放13张棋盘作为测试棋盘,用以模拟钢筋顶端进行测量并计算相应的误差,此时测量平面与标定平面相同都是地面,故可认为式(6)中的h=0。分别基于此前得到的9组参数取值,从图8所示的图像中测量计算出13张棋盘上各个方格的尺寸;本测试中具体使用Harris角点检测器检测每个棋盘上的网格点,之后再利用网格点在图像中的像素坐标,并结合式(6)得到真实的空间位置坐标,最后利用距离计算公式计算出各网格点之间的间距,也即小方格的边长。最后利用以下公式来分别计算13张棋盘的测量值与真实值之间的误差:
Figure BDA0003388086370000091
其中NX和NY分别为小棋盘上X方向和Y方向的方格数(包括白色方格和黑色方格),d=45mm,
Figure BDA0003388086370000092
为小棋盘X方向上第a个方格边长的测量值,
Figure BDA0003388086370000093
为小棋盘Y方向上第b个方格边长的测量值。
图9所示为相应测试结果,图中横坐标“棋盘标号”对应于图8中的13张测试棋盘标号,纵坐标为误差,从图中可直观看出,误差波动在0.1%~6%之间,当标定棋盘数量大于5个时,相机视场下任意位置的误差均小于0.7%,能够取得较好的测量精度。
2.测量平面高度对精度的影响
如图10所示,分别对测量平面高度h为41mm、84mm、128mm、253mm、502mm和704mm这7种情况下的测量精度进行测试,当然图10所示仅是用于直观示意下7种高度的测试棋盘摆放样式,在实际测试中为每1种高度单独测试,并且须保证各组测试之间除了高度有所差异外,其余包括摆放位置、摆放角度、摆放数量等变量因素保持一致。具体每种高度放置9张测试棋盘,9张测试棋盘均匀铺满相机视场,而s、K、RT、TT等参数的取值则沿用此前采用9张标定棋盘所获得的数据。
如图11所示为相应7组高度的测试结果,由图示可看出,测量精度随测量平面的高度变化而变化,但所有误差都在0.8%以内,属于可接受的范围。
3.实际钢筋定位测试
首先制作数据集,本测试数据集中共准备了380张钢筋图像,合计1295个钢筋截面,所有图像都是由DJI Plantom 3专业相机拍摄。各图像的拍摄角度和拍摄距离都有所差异,各张图像中的钢筋数量从6至38根不等,此外图像中还包含各种干扰信息,例如光照不均匀、钢筋腐蚀、遮挡等。所使用的标注工具为LabelImg,通过标注工具对钢筋顶端截面进行标记。
如图12所示为本测试中所选取的几张具有代表性的数据集样本,数据集被随机分为训练集、验证集和测试集,占比分别为80%、10%和10%。
基于GeForce RTX 2060Super 8GB GPU和Pytorch 4.0框架进行神经网络的训练测试,由于GPU内存有限,mini-batch的大小设置为4;初始学习率设置为0.01,并通过余弦退火策略进行动态调整;训练周期(training epochs)固定在1000。通过上述制作的数据集,分别对4个网络模型YOLO v5s、YOLO v5m、YOLO v5l和YOLO v5x进出训练并测试。相关训练测试数据如表1所示,根据测试结果,YOLO v5l的性能最好,准确率达到0.9899、召回率为1,故采用YOLO v5l网络模型进行后续的钢筋定位检查。
表1:网络模型训练测试数据
YOLO v5x YOLO v5l YOLO v5m YOLO v5s
map@0.5 0.9985 0.9986 0.9956 0.9937
map@0.95 0.7536 0.7489 0.7158 0.6975
准确率 0.9834 0.9899 0.9756 0.9369
召回率 0.9933 1 0.9933 0.9867
1)桥墩架设时钢筋间距检查
如图13所示,对于同一设计参数的两个桥墩承台,在桥墩承台周围均匀摆放若干标定棋盘,分别采用两种摆放方式,其中在墩台1内部地面上均匀摆放棋盘,对于墩台2则在墩台外围地面上摆放棋盘;放置标定棋盘后,使用无人机从空中向下拍摄图像,也即拍摄获得图13。图14所示为墩台的设计图。
图15和图16为相应的检测结果,其中图15为墩台上钢筋位置图,包括设计位置和实测位置;图16为钢筋实测位置距离设计位置的偏差量柱状图,包括X、Y两个方向上的偏差量,图中横坐标为钢筋编号,纵坐标为偏差量。
2)盖梁安装前的钢筋间距检查
如图17所示,对于盖梁的安装也进行相应的钢筋定位检查,与检查桥墩承台上钢筋不同,盖梁的安装钢筋位于桥墩顶部,距离地面有一定高度,因此标定棋盘只能放置在桥墩内侧,之后同样使用无人机从空中向下拍摄照片。
图18和图19所示为相应检测结果,其中图18为桥墩上钢筋位置图,图19为钢筋实测位置距离设计位置的偏差量柱状图。
综上1)和2),验证了本发明基于深度学习和单目大视场平面测量的钢筋定位方法能够有效完成钢筋安装位置的检查工作,且在施工现场,只需要在钢筋周围摆放定位棋盘,并使用普通单目相机拍摄相应的照片图像,即可通过后台程序算法自动完成钢筋位置的测量检察工作,因而能够大大提升工作效率,并且所需的设备成本较低,有利于推广使用。
此外,本发明虽然诞生于钢筋定位检查工作,但是本发明的这种定位方法,在实际应用时,并不局限于钢筋定位检查,凡是类似情形的定位检测都能使用本发明方法完成,因此钢筋检查这一应用领域不能理解为对本发明用途或技术方案本身的限制。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
本发明并不限于上述实施方式,在不背离本发明的实质内容的情况下,本领域技术人员能够做出的任何显而易见的改进、替换或变形均属于本发明的保护范围。

Claims (10)

1.一种基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:建立标定系统,分别设定测量平面与标定平面,所述测量平面为待测物所在平面,所设定的标定平面与测量平面相平行,记测量平面距离标定平面的距离为h;
在标定平面中放置若干标定物,设其中第i号标定物坐标系为
Figure FDA0003388086360000011
并将其中第1号标定物坐标系
Figure FDA0003388086360000012
选定为整个标定平面坐标系,记为OT=XTYTZT,设相机坐标系为OC-XCYCZC,则任一标定物上坐标点(xij,yij,0)与其所在相机图像中的像素坐标(uij,vij)之间对应关系为:
Figure FDA0003388086360000013
其中下标ij表示第i个标定物上第j个点,s是比例因子,K为相机的固有矩阵,
Figure FDA0003388086360000014
Figure FDA0003388086360000015
RT和TT分别为标定平面坐标系OT=XTYTZT向相机坐标系OC-XCYCZC转换的旋转矩阵、变换向量;
Figure FDA0003388086360000016
Figure FDA0003388086360000017
Figure FDA0003388086360000018
分别为第i号标定物坐标系
Figure FDA0003388086360000019
向相机坐标系OC-XCYCZC变换的旋转矩阵、变换向量,
Figure FDA00033880863600000110
Figure FDA00033880863600000111
分别表示为第1号标定物坐标系
Figure FDA00033880863600000112
向相机坐标系OC-XCYCZC变换的旋转矩阵和变换向量;
设测量平面上任一点PM,则点PM在标定平面坐标系OT=XTYTZT下的坐标为(xM,yM,h),点PM在相机图像上相对应的像素坐标为(uM,vM),则有:
Figure FDA00033880863600000113
采集待测物图像,首先利用图像中的标定物反推出参数s、K、RT、TT的取值,之后基于图像识别技术,利用神经网络模型检测识别出图像中的待测物,并输出待测物的像素坐标(uM,vM),最后将像素坐标转换为空间坐标(xM,yM,h),实现定位检测。
2.根据权利要求1所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:所述标定物为棋盘。
3.根据权利要求1所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:所述标定物数量大于5个,多个标定物均匀铺满相机视场范围。
4.根据权利要求2所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:采集图像后,使用Harris角点检测器检测图像中各个棋盘上的网格点,得到网格点的像素坐标(uij,vij),将检测出的网格点作为检测点,根据网格点在各自棋盘上的空间坐标(xij,yij,0),反推出参数s、K、RT、TT的取值。
5.根据权利要求4所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:采用最小二乘优化算法寻找参数s、K、RT、TT的取值,优化目标为检测点与相应图像中的投影点之间总重投影误差最小。
6.根据权利要求5所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:各个标定棋盘测量值与真实值之间的误差计算公式为:
Figure FDA0003388086360000021
其中NX和NY分别为棋盘上X方向和Y方向的方格数,d为棋盘上方格边长的真实值,
Figure FDA0003388086360000022
为小棋盘X方向上第a个方格边长的测量值,
Figure FDA0003388086360000023
为小棋盘Y方向上第b个方格边长的测量值。
7.根据权利要求1所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:应用于钢筋定位检测,选择钢筋顶端平面作为测量平面,选择地面作为标定平面,测量平面距离标定平面的距离h为钢筋的高度。
8.根据权利要求1所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:所述神经网络模型为YOLO v51。
9.根据权利要求8所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:在制作数据集训练神经网络模型阶段,采用Mosaic数据增强技术丰富数据集。
10.根据权利要求9所述的基于深度学习和单目大视场平面测量的定位检测方法,其特征在于:训练神经网络模型时,mini-batch的大小设置为4,初始学习率设置为0.01,通过余弦退火策略进行动态调整,训练周期固定在1000。
CN202111461942.6A 2021-12-02 2021-12-02 一种基于深度学习和单目大视场平面测量的定位检测方法 Pending CN114359652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111461942.6A CN114359652A (zh) 2021-12-02 2021-12-02 一种基于深度学习和单目大视场平面测量的定位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111461942.6A CN114359652A (zh) 2021-12-02 2021-12-02 一种基于深度学习和单目大视场平面测量的定位检测方法

Publications (1)

Publication Number Publication Date
CN114359652A true CN114359652A (zh) 2022-04-15

Family

ID=81097157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111461942.6A Pending CN114359652A (zh) 2021-12-02 2021-12-02 一种基于深度学习和单目大视场平面测量的定位检测方法

Country Status (1)

Country Link
CN (1) CN114359652A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116734727A (zh) * 2022-10-08 2023-09-12 荣耀终端有限公司 定位方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116734727A (zh) * 2022-10-08 2023-09-12 荣耀终端有限公司 定位方法及装置

Similar Documents

Publication Publication Date Title
Duque et al. Bridge deterioration quantification protocol using UAV
CN107402001B (zh) 基于3d扫描的超高层建筑施工偏差数字化检验系统及方法
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
JP2008014940A (ja) 平面状被撮像物のカメラ計測のためのカメラキャリブレーション方法、および応用計測装置
CN110133639B (zh) 一种传力杆施工质量检测方法
CN113340277B (zh) 一种基于无人机倾斜摄影的高精度定位方法
CN109472778B (zh) 一种基于无人机的高耸结构外观检测方法
CN112785654A (zh) 轨道几何检测系统标定方法及装置
CN109682303A (zh) 基于bim技术的曲线pc轨道梁精密三维检测方法
CN109990703A (zh) 一种预制构件的尺寸检测方法及系统
CN114359652A (zh) 一种基于深度学习和单目大视场平面测量的定位检测方法
CN115014198A (zh) 一种基于三维激光扫描的钢筋安装检测方法
CN112461122A (zh) 一种隧道表面特征检测装置及方法
Cheng et al. Vision-based trajectory monitoring for assembly alignment of precast concrete bridge components
Ioli et al. UAV photogrammetry for metric evaluation of concrete bridge cracks
CN113658279B (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN114234819B (zh) 基于三维激光扫描的钢筋部品质量自动化检测方法
CN105157564A (zh) 一种网架单元拼装精度快速自动化摄影测量方法
CN113032272B (zh) 自动泊车系统试验评价方法、装置、设备及存储介质
Wang et al. Automatic texture acquisition for 3D model using oblique aerial images
CN111932642B (zh) 一种结构裂纹体积的测算方法、装置、设备及存储介质
US20230027236A1 (en) Dimensional calibration of the field-of-view of a single camera
Senn et al. On-site geometric calibration of thermal and optical sensors for UAS photogrammetry
CN113048956A (zh) 一种基于三维扫描技术的钢结构施工的监测方法及系统
CN114046776B (zh) 一种输电工程水土保持措施落实的核查系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination