CN109523595B - 一种建筑工程直线棱角间距视觉测量方法 - Google Patents

一种建筑工程直线棱角间距视觉测量方法 Download PDF

Info

Publication number
CN109523595B
CN109523595B CN201811391666.9A CN201811391666A CN109523595B CN 109523595 B CN109523595 B CN 109523595B CN 201811391666 A CN201811391666 A CN 201811391666A CN 109523595 B CN109523595 B CN 109523595B
Authority
CN
China
Prior art keywords
point
camera
image
dimensional
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811391666.9A
Other languages
English (en)
Other versions
CN109523595A (zh
Inventor
向卫
袁君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Lian He Technology Co ltd
Original Assignee
Nanjing Lian He Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Lian He Technology Co ltd filed Critical Nanjing Lian He Technology Co ltd
Priority to CN201811391666.9A priority Critical patent/CN109523595B/zh
Publication of CN109523595A publication Critical patent/CN109523595A/zh
Application granted granted Critical
Publication of CN109523595B publication Critical patent/CN109523595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种建筑工程直线棱角间距视觉测量方法,通过双目摄像的方式测量三维物体的直线棱角尺寸。本发明将双目摄像机左右平行固定安装,先通过三角形原理计算得到物体的三维空间位置,然后通过计算ORB特征值和三维点方法求取图像三维边缘特征,并通过贝叶斯法则方程提供初始值,接着通过列文伯格-马夸尔特优化相机位姿和P点空间数据。其次,计算图像空间直线间距测量模型,并通过相机激光尺来校准视觉测量距离,比较图纸设计数值与实际图像测量尺寸的误差,并自动标出超出误差的直线棱角。本发明快速即时构建建筑物三维数据,方便无接触测量施工现场尺寸,并实时与设计数据比对,在现场拍摄图像上标出实际与设计数据尺寸的施工误差。

Description

一种建筑工程直线棱角间距视觉测量方法
技术领域
本发明公开了一种建筑工程中直线棱角间距视觉测量方法,具体涉及建筑工程测量技术领域。
背景技术
目前在建筑工程测量中,传统测量手段如尺、经纬仪、全站仪等一般一次只能测一个尺寸或几个尺寸,并且一般只能测直线尺寸,无法同时观测到的建筑物棱角多个尺寸;同时,对于人工测量手段来说,对于楼板顶部、基坑等位置,传统人工测量手段也不方便做到。
对于该问题,有研究提出了三维激光扫描建模的测量方案,但是这类方案成本高、数据处理计算慢,不能在拍摄现场即时处理显示测量结果,所以无法即时将测量结果与设计值比对,实时标记出施工尺寸误差。
发明内容
本发明所要解决的技术问题是:针对现有技术的缺陷,提出了一种准确、快速测量并及时与设计尺寸比对误差的建筑物棱角直线的方法。通过双目摄像的方式,通过视觉空间里程计算获取拍摄物的3维空间尺寸,并通过激光三角形测量原理矫正视觉计算的准确率,来测量三维物体的尺寸。
本发明为解决上述技术问题采用以下技术方案:
本发明提出一种建筑工程中直线棱角间距视觉测量方法,具体步骤包括:
步骤1、计算得到建筑物被观测点的三维空间位置;
步骤2、求取单幅图像特征关键点和其BRIEF描述子特征值,去除同一平面上光线阴影关键点,求取图像三维边缘特征;
步骤3、以被观测点在相邻两张图像的像素尺寸为观测值构建观测约束方程,通过贝叶斯法则估计状态变量点条件分布,来计算被观测点在两张图像的最大似然估算出相机位姿作为优化初始值;
步骤4、对同一物体用双目相机在不同位置拍摄多幅图像,通过图像三维边缘关键点多图匹配并利用列文伯格-马夸尔特非线性最小二乘优化,比较相机在不同三维旋转和三维空间共6维位姿的状态下得到的被观测点不同的成像空间数据,通过信赖区域方法求取非线性优化,得到并进一步优化相机位姿和被观测点空间数据;
步骤5、根据空间图像三维尺寸建立空间直线测量图像模型,测量空间物两直线之间的距离,并通过在相机本体固定位置固定角度发射两束激光到被观测点,通过边边角三角形原理测出显示在被测物体上两激光点的距离,比对校正物体上两激光点的激光测距距离与摄像测量距离,以进一步校正三维空间的直线数据;
步骤6、闭环监测:拼接多次拍摄点图像,在下一次拍摄时形成闭环检测进一步优化整体图像;
步骤7、在显示屏上同时显示现场实际摄像图像、图像测量尺寸的三维图像,通过调用并比较同一建筑物被测尺寸中理论设计数值与实际图像测量尺寸的误差,将大于建筑物施工国家标准的误差进行标记。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
本发明集机器视觉、激光点云和数字建筑设计融合于一体专门解决建筑物棱角直线测量的方法。发挥机器视觉拍照形成三维图像一次性成像面大、成像快的原理,通过在关键字中通过三维点云圆周半径空间夹角算法去除同一平面中的关键点,只计算有棱角的建筑物尺寸,减少了视觉计算量,可以在显示终端快速计算图像三维空间;本发明利用激光测距准确度高的原理,用激光校正视觉测量的准确度,不仅可以现场构建传统的尺、水准仪、全站仪、激光尺等难以完成的三维数字模型,快速方便地实时测量。
附图说明
图1是本发明的方法流程示意图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本技术领域技术人员可以理解的是,除非另外定义,这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
本发明首先将双目摄像机左右平行固定安装,并使相机的光圈中心都位于x轴上,考虑空间点P,在左右两个相机都各成一像,这样空间点P,两个相机上点成像像素点,以及两个相机左右光圈中心组成三角形,根据三角形原理得到空间点P在相机座标下的三维空间位置。
通过FAST关键点法求取单幅空间点P图像特征关键点和BRIEF描述子ORB特征值,并通过三维点方法去除同一平面上光线阴影关键点而求取图像三维边缘特征。
以物体在相邻两张图像的像素尺寸为观测值构建观测约束方程,通过贝叶斯法则估计状态变量点条件分布来计算空间点在两张图像的最大似然估算出相机位姿作为初始值。
对同一物体用双目相机在不同位置拍摄多幅图像,通过图像三维边缘关键点多图匹配通过列文伯格-马夸尔特非线性最小二乘优化,比较相机在不同三维旋转和三维空间共6 维位姿的状态下得到的不同空间点P成像空间数据,通过信赖区域方法求取非线性优化,得到并进一步优化相机位姿和P点空间数据。
根据空间图像三维尺寸建立空间直线测量图像模型,测量空间物两直线之间的距离,并通过固定在相机本体上发射的两束激光尺来校准视觉测量距离。即通过在相机本体固定位置固定角度发射两束激光到被测物,并通过边边角三角形原理测出显示在被测物体上两激光点的距离,比对校正物体上两激光点的激光测距距离与摄像测量距离,以进一步校正三维空间的直线数据。
拼接多次拍摄点图像,在下一次拍摄时形成闭环检测进一步优化整体图像。
通过在显示屏上同时显示现场实际摄像图像、图像测量的尺寸和建筑工程设计的BIM 或CAD等三维图像,通过调用并比较同一建筑物被测尺寸中理论设计数值与实际图像测量尺寸的误差,将大于建筑物施工国家标准的误差标记为“超出标准误差。”。
如图1所示,本发明提出通过双目摄像的方式测量三维物体的直线棱角尺寸的方法,包括以下步骤:
步骤1、通过三角形原理计算得到物体的三维空间位置。
双目机构光相机模型原理:将左右相机水平放置,两个相机光圈中心位于一个轴,根据三角形相似原理,建筑物被观测点p的深度z=fb/d。其中,f为相机焦距,b为两相机光圈中心OL与OR的距离,d为左右横座标的时差,d=uL-uR。双目相机三维空间刚体运动的约束方程为:
其中,f为相机焦距,b为左、右相机光圈中心OL与OR的距离,d为左、右横座标 uL与uR的视差,d=uL-uR,uL为左相机光圈中心OL与左成像点PL之间的视差,uR为右相机光圈中心OR与右成像点PR之间的视差,ul为左相机光圈中心OL与左成像点PL之间x 方向座标,vl为左相机光圈中心OL与左成像点PL之间y方向座标。
步骤2、用点云距离+FAST关键点法求取单幅图像特征的ORB关键点和描述子特征值,具体如下:
1)计算出灰度角点
通过设置阀值亮度的15%,计算像素p中心半径为3的园上的16个像素点,圆上有连续的亮度超过阀值的点为12个连续点,视为灰度特征点。
2)通过Harris响应值,计算局部像素灰度变化求出角点集合,
求取图像块质心描述子
在一个图像块B中,定义图像块矩其中I(x,y)是图像点p的亮度值。
质心
连接图像块几何中心O与质心C的方向向量
特征点的方向可以定义为:θ=arctan(m01/m10)。
3)在相机像素上由灰度角点组成的关键点中,计算点云p为中心的圆周上互成对角线的两条半径三维空间夹角。
在二维像素平面上以p点为半径在圆周上均匀取36个点p(1,36),计算由半径p-p(i)与半径p-p(i+18)组成的18组空间半径的夹角θ(i)
设定夹角阀值为δ(一般取夹角θ(i)≤δ=5%*90°),循环计算夹角θ(i),取超过 16对以上的夹角θ(i)≤δ,则认为三维空间直线p-p(i)与三维空间直线p-p(i+18)位于同一平面,空间点云p为建筑物平面关键点,不是棱角关键点。
4)在FAST关键点中,去除第3)步所述平面关键点p,得到用于测量计算的ORB 特征值的关键点。
5)根据角点位置计算二进制描述子BRIEF:
a)使用FAST角点位置图A点(像素为a)、B点(像素为b);
b)在A、B点附近各取128个关键点,分别比较A、B两点附近关键点像素a、b 大小关系,a>b=1,a<b=0;
c)求取汉明(HANNING)距离匹配图像,即不同位数的个数;
d)找出所有匹配之间的最大与最小距离;
e)去除描述子之间距离大于两倍最小距离的特征点;
f)计算特征匹配结果;
汇总所有特征点。
步骤3、设立相邻两张图像最大似然估计求解方程提供优化初始值,具体为:
设定三维空间刚体运动的观测方程为:
其中,f函数是在相机处于上k-1位姿、相机位姿变化为uk的情况下相机的位姿估算值;这里,x是相机的位置,uk是相机位置变化值,wk为噪音,yj是建筑物被观测点路标,vk,j是观测噪声,zk,j是相机在xk位置上看到yj的观测数据对应到的相机像素值;h函数是相机位姿处于xk,在观测第j个目标状态下相机像素观测值。
利用贝叶斯法则估计状态变量的条件分布来重建三维空间结构:
其中,P(x/z)是后验概率,P(z/x)是似然概率,P(x)是先验概率,P(z)代表空间点对应到图像上像素位置的观测数据概率。
三维空间:xk=[Rx Ry Rz,tx ty tz]
这里Rx,Ry,Rz指相机位姿x分别在座标系x,y,z三个轴上的单位分向量;tx,ty,tz指相机位姿原点在坐标系中的三维空间点x,y,z数据。
求解相机位姿x的最大似然估计:
x的最大似然估计是
使用最小化负对数方式,相当于求最小化噪声项(即误差)的平方,即:
设噪声ev,k=xk-f(x-1,vk)
观测误差ey,j,k=zk,j-h(xk,yj)
并得到误差的平方和;
其中,噪声vk满足均值高斯分布vk~N(0,Qk,j),R-1代表矩阵相机位姿旋转R矩阵的逆矩阵,Q-1为高斯分布概率密度函数方差参数矩阵Q的逆矩阵。
步骤4、具体如下:
其中,f(x+Δx)-f(x)是实际函数下降值,J(x)Δx是近似模型下降值;
在x附近泰勒近似展开
其中,关于x的导数雅可比矩阵J(x)是关于Δx的导数,x的二阶导数海塞Hessian矩阵H是/>关于Δx的二阶导数。
用拉格朗日乘子转化列文伯格法,求
简化D=I,相当于求解(H+λI)Δx=g
其中,λ是拉格朗日乗子,H=J(x)TJ(x)Δx,g=-J(x)Tf(x)
简化为高斯牛顿方程:J(x)TJ(x)Δx=-J(x)Tf(x)
高斯牛顿方程求解过程为:(1)、给定数值x0,(2)、迭代k次,求出J(xk)和误差f(xk), (3)、求HΔxk=g,(4)、当Δxk足够小时,结束;
其中,列文伯格法过程程序为:
δ是循环时阈值
①给定初值x0,δ
②迭代k次求解min公式最小值
③计算
④当ρ>0.75,取δ=2δ,当ρ<0.25,取δ=0.5δ
⑤继续迭代k,δ,当ρ>设定阈值时,近似认定程序通过,设xk+1=xk+△xk
步骤5、建图与直线视觉尺寸测量,具体如下:
1)在显示屏上实时显示现场图像特征值的点云集
Pi(xi,yi,zi)i=1,n。
2)设特征点云集N中,过点Pi(xi,yi,zi),i=1,n的直线n矢量方程
计算特征点归一化矢量a1,b1,c1直线方程
直线方程是
3)设特征点云集M中,过点Pj(xj,yj,zj)j=1,m的直线m矢量方程
计算特征点归一化矢量a2,b2,c2直线方程
4)计算直线n与直线m的距离
计算点直线n上点x(i=1,n)到直线m的平均距离DXM
距离XM=点x距离均值
计算直线m上点x(j=1,m)到直线n到距离DXN
距离XN=点x距离均值
两直线距离
5)用激光尺校正测量距离
通过固定在照相机上的激光发射源O点上发射两束激光分别打在建筑物上A点、B点。其中,(ax,ay,az)是A激光点的视觉测量坐标,(bx,by,bz)是B激光点视觉测量坐标,两束激光夹角为a,|OA|=A,|OB|=B,
通过三角形OAB计算,激光AB之间的距离为
通过照相机视觉测量A、B点之间的视觉距离为
则比例因子
最终测量显示尺寸为:
步骤6、闭环监测具体如下:
1)构建ORB特征值字典
通过无监督学习,用K-means均值算法归类k个点:
1)随机选取k个中心点,2)对每一个样本,计算其中心点距离,取最小的作为归类3)重新计算,收敛回归;
vA表示图像A中含有哪些单词的向量,vB表示图像B中含有哪些单词的向量。
2)通过词袋模型计算字典相似性,使用L1范数计算图像A与图像B的相似性,
其中,单词wi的相似权重δi=TFi×IDFi,TFi是特征值在单幅图中频率,IDFi是某节点wi中特征数量相对于所有特征数量比例,/>
3)比较当前图像帧与某一图像帧的相似性,如果超过当前图像与上一图像相似性的3 倍,默认为存在闭环。
S(vt,vtj)'=S(vt,vtj)/S(vt,vt-t)
其中,vt,vtj为归一化分值,S(vt,vt-t)为先验相似度。
拼接多次拍摄点图像,在下一次拍摄时判断是否形成闭环检测进一步优化整体图像。
步骤7、在显示屏上同时显示现场实际摄像图像、图像测量尺寸的三维图像:
1)以建筑施工工程三维数字图纸中项目基点的位置作为施工测量座标系原点O,将建筑设计的数字矢量图纸转化为空间三维点云图像,记为矩阵J;
2)以施工测量座标系原点O,将拍摄得到的实际三维图像变换为施工测量座标系下,记为矩阵W;
3)获取在施工测量座标系下相机拍摄时的实际位姿R;
4)以相机实际位姿R的相机成像光心作为三维图像的立体显示观察点,分别显示出在当前相机位姿R的建筑物设计三维图像矩阵PJ,和实际拍摄图像矩阵PW
5)比较同一建筑物被测尺寸中理论设计图像PJ中的尺寸f(PJ)与实际图像PW测量尺寸f(PW)的误差,并将误差记为σ=f(PJ)-f(PW);
6)将建筑物国家标准误差设为阀值μ,if(σ>μ),则将大于阀值μ的尺寸标记为“超出标准误差。”。
本发明未涉及部分均有现有技术相同或可采用现有技术加以实现。
上面结合附图对本发明的实施方式作了详细地说明,但是本发明并不局限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (8)

1.一种建筑工程直线棱角间距视觉测量方法,其特征在于,在对双目相机参数设定好后,具体执行步骤包括:
步骤1、计算得到建筑物被观测点的三维空间位置;
步骤2、求取单幅图像特征关键点和其BRIEF描述子特征值,去除同一平面上光线阴影关键点,求取图像三维边缘特征;
步骤3、以被观测点的观测数据对应到的相机像素值为观测值构建观测约束方程,通过贝叶斯法则估计状态变量条件分布,求解相机位置的最大似然估计作为优化初始值;
步骤4、对同一物体用双目相机在不同位置拍摄多幅图像,通过图像三维边缘关键点多图匹配并利用列文伯格-马夸尔特非线性最小二乘优化,比较相机在不同三维旋转和三维空间共6维位姿的状态下得到的被观测点不同的成像空间数据,通过信赖区域方法求取非线性优化,得到并进一步优化相机位姿和被观测点空间数据;
步骤5、根据空间图像三维尺寸建立空间直线测量图像模型,测量空间物两直线之间的距离,并通过在相机本体固定位置固定角度发射两束激光到被观测点,通过边边角三角形原理测出显示在被测物体上两激光点的距离,比对校正物体上两激光点的激光测距距离与摄像测量距离,以进一步校正三维空间的直线数据;
步骤6、闭环监测:拼接多次拍摄点图像,在下一次拍摄时形成闭环检测进一步优化整体图像;
步骤7、在显示屏上同时显示现场实际摄像图像、图像测量尺寸的三维图像,通过调用并比较同一建筑物被测尺寸中理论设计数值与实际图像测量尺寸的误差,将大于建筑物施工国家标准的误差进行标记。
2.根据权利要求1所述的一种建筑工程直线棱角间距视觉测量方法,其特征在于,步骤1是通过三角形原理计算得到物体的三维空间位置,具体为:
首先将双目摄像机左右平行固定安装,并使左、右相机的光圈中心都位于x轴上,被观测点p以及左、右两个相机光圈中心组成三角形,根据三角形相似原理,得知建筑物被观测点p的深度zp=fb/d,建立双目相机三维空间刚体运动的约束方程为:
其中,f为相机焦距,b为左、右相机光圈中心OL与OR的距离,d=uL-uR,uL为左相机光圈中心OL与左成像点PL之间的视差,uR为右相机光圈中心OR与右成像点PR之间的视差,ul为左相机光圈中心OL与左成像点PL之间x方向坐标,vl为左相机光圈中心OL与左成像点PL之间y方向坐标。
3.根据权利要求1所述的一种建筑工程直线棱角间距视觉测量方法,其特征在于,步骤2是采用点云距离+FAST关键点法求取单幅图像特征关键点和BRIEF描述子特征值,具体如下:
1)计算出灰度角点:
通过设置阀值亮度的15%,计算以被观测点p为中心、半径为3的圆周上的16个像素点,若圆周上有12个连续的亮度超过阀值的点,则将其视为灰度角点;
2)通过Harris响应值,计算局部像素灰度变化求出角点集合,包括:
201)、求取图像块质心描述子
在一个图像块B中,定义图像块矩pb,qb={0,1},其中I(x,y)是图像点p的亮度值;
202)、设质心
连接图像块几何中心O与质心C的方向向量
将特征点的方向定义为:θ=arctan(m01/m10);
3)在相机像素上由灰度角点组成的关键点中,计算以点云p为中心的圆周上互成对角线的两条半径的三维空间夹角,具体为:
301)、在二维像素平面上以p点为半径在圆周上均匀取36个点p1,p2,…,p36,计算由半径p-p(i)与半径p-p(i+18)组成的18组空间半径的夹角θ(i)
302)、设定夹角阀值为δ,循环计算夹角θ(i),取超过16对以上θ(i)≤δ的夹角,则认为三维空间直线p-p(i)与三维空间直线p-p(i+18)位于同一平面,空间点云p为建筑物平面关键点;
4)在FAST关键点中,去除第3)步所述平面关键点p,得到用于测量计算的ORB特征值的关键点;
5)根据角点位置计算二进制描述子BRIEF,具体为:
a)使用FAST角点位置图A点、B点;
b)在A、B点附近各取128个关键点,分别比较A、B两点附近关键点像素a、b大小关系,a>b=1,a<b=0;
c)求取汉明距离匹配图像,即不同位数的个数;
d)找出所有匹配之间的最大与最小汉明距离;
e)去除描述子之间汉明距离大于两倍最小汉明距离的特征点;
f)计算特征匹配结果;
6)汇总所有特征点。
4.根据权利要求1所述的一种建筑工程直线棱角间距视觉测量方法,其特征在于,步骤3具体过程如下:
以被观测点的观测数据对应到的相机像素值为观测值构建观测约束方程,设定三维空间刚体运动的观测约束方程为:
其中,f函数是在相机处于k-1位姿、相机位置变化值为uk的情况下相机的位姿估算值;x是相机的位置,uk是相机位置变化值,wk为噪音,yj是建筑物被观测点路标,vk,j是观测噪声,zk,j是相机在xk位置上看到yj的观测数据对应到的相机像素值;h函数是相机位置处于xk、在观测第j个目标状态下相机像素观测值;
利用贝叶斯法则估计状态变量的条件分布来重建三维空间结构:
其中,P(x/z)是后验概率,P(z/x)是似然概率,P(x)是先验概率,P(z)代表空间点对应到图像上像素位置的观测数据概率;
三维空间:xk=[Rx Ry Rz,tx ty tz]
其中,Rx,Ry,Rz指相机位置x分别在坐标系x,y,z三个轴上的单位分向量;tx,ty,tz指相机位姿原点在坐标系中的三维空间点数据;
求解相机位置x的最大似然估计:
x的最大似然估计是
使用最小化负对数方式,相当于求最小化噪声项的平方,即:
设噪声ev,k=xk-f(x-1,vk)
观测误差ey,j,k=zk,j-h(xk,yj)
并得到误差的平方和;
其中,噪声vk满足均值高斯分布vk~N(0,Qk,j),R-1代表矩阵相机位姿旋转R矩阵的逆矩阵,Q-1为高斯分布概率密度函数方差参数矩阵Q的逆矩阵。
5.根据权利要求4所述的一种建筑工程直线棱角间距视觉测量方法,其特征在于,步骤4具体如下:
其中,f(x+Δx)-f(x)是实际函数下降值,J(x)Δx是近似模型下降值;
在x附近泰勒近似展开
f(x+Δx)≈f(x)+J(x)Δx
其中,雅可比矩阵J(x)是f(x)关于x的导数,寻求下降矢量Δx,使得||f(x+Δx)||2达到最小;
用拉格朗日乘子转化列文伯格法,求
简化D=I,相当于求解(H+λI)Δx=g
其中,λ是拉格朗日乗子,H=J(x)TJ(x)Δx,g=-J(x)Tf(x)
简化为高斯牛顿方程:J(x)TJ(x)Δx=-J(x)Tf(x)
上述高斯牛顿方程求解过程为:(1)、给定数值x0,(2)、迭代k次,求出J(xk)和误差f(xk),(3)、求HΔxk=g,(4)、当Δxk足够小时,结束;
其中,列文伯格法过程程序为:
δ是循环时阈值,
①给定初值x0,δ
②迭代k次求解min公式最小值
③计算
④当ρ>0.75,取δ=2δ,当ρ<0.25,取δ=0.5δ
⑤继续迭代k,δ,当ρ>设定阈值时,近似认定程序通过,设xk+1=xk+Δxk
6.根据权利要求1所述的一种建筑工程直线棱角间距视觉测量方法,其特征在于,步骤5具体如下:
1)在显示屏上实时显示现场图像特征值的点云集:Pi(xi,yi,zi),i=1,...,n;
2)设特征点云集N中,过点Pi(xi,yi,zi)的直线n矢量方程
计算特征点归一化矢量a1,b1,c1直线方程
3)设j=1,…,m,在特征点云集M中,过点Pj(xj,yj,zj)的直线m矢量方程
计算特征点归一化矢量a2,b2,c2直线方程
4)计算直线n与直线m的距离
计算点直线n上点xi到直线m的平均距离DXM
计算直线m上点xj到直线n到距离DXN
两直线距离
5)用激光尺校正测量距离
通过固定在照相机上的激光发射源O点上发射两束激光分别打在建筑物上A点、B点;其中,(ax,ay,az)是A激光点的视觉测量坐标,(bx,by,bz)是B激光点视觉测量坐标,两束激光夹角为a,|OA|=A,|OB|=B,
通过三角形OAB计算,激光AB之间的距离为
通过照相机视觉测量A、B点之间的视觉距离为
则比例因子
最终测量显示尺寸为:
7.根据权利要求1所述的一种建筑工程直线棱角间距视觉测量方法,其特征在于,步骤6所述闭环监测具体如下:
1)构建ORB特征值字典
通过无监督学习,用K-means均值算法归类k个点,具体为:
a)随机选取k个中心点;
b)对每一个样本,计算其中心点距离,取最小的作为归类;
c)重新计算,收敛回归;
vA表示图像A中所含有单词的向量,vB表示图像B中所含有单词的向量;
2)通过词袋模型计算字典相似性,使用L1范数计算图像A与图像B的相似性,
其中,单词wi的相似权重δi=TFi×IDFi,TFi是特征值在单幅图中频率,IDFi是某节点wi中特征数量ni相对于所有特征数量n比例,/>
3)比较当前图像帧与某一图像帧的相似性,如果超过当前图像与上一图像相似性的3倍,默认为存在闭环;
S(vt,vtj)'=S(vt,vtj)/S(vt,vt-t)
其中,vt,vtj为归一化分值,S(vt,vt-t)为先验相似度;
拼接多次拍摄点图像,在下一次拍摄时判断是否形成闭环检测进一步优化整体图像。
8.根据权利要求1所述的一种建筑工程直线棱角间距视觉测量方法,其特征在于,步骤7所述在显示屏上同时显示现场实际摄像图像、图像测量尺寸的三维图像,具体如下:
1)以建筑施工工程三维数字图纸中项目基点的位置作为施工测量坐标系原点O,将建筑设计的数字矢量图纸转化为空间三维点云图像,记为矩阵J,
2)以施工测量坐标系原点O,将拍摄得到的实际三维图像变换为施工测量坐标系下,记为矩阵W;
3)获取在施工测量坐标系下相机拍摄时的实际位姿R;
4)以相机实际位姿R的相机成像光心作为三维图像的立体显示观察点,分别显示出在当前相机位姿R的建筑物设计三维图像矩阵PJ,和实际拍摄图像矩阵PW
5)比较同一建筑物被测尺寸中理论设计数值PJ与实际图像PW测量尺寸的误差,并将误差记为σ;
6)将建筑物国家标准误差设为阀值μ,将大于阀值μ的尺寸进行标记。
CN201811391666.9A 2018-11-21 2018-11-21 一种建筑工程直线棱角间距视觉测量方法 Active CN109523595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811391666.9A CN109523595B (zh) 2018-11-21 2018-11-21 一种建筑工程直线棱角间距视觉测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811391666.9A CN109523595B (zh) 2018-11-21 2018-11-21 一种建筑工程直线棱角间距视觉测量方法

Publications (2)

Publication Number Publication Date
CN109523595A CN109523595A (zh) 2019-03-26
CN109523595B true CN109523595B (zh) 2023-07-18

Family

ID=65777915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811391666.9A Active CN109523595B (zh) 2018-11-21 2018-11-21 一种建筑工程直线棱角间距视觉测量方法

Country Status (1)

Country Link
CN (1) CN109523595B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060240B (zh) * 2019-04-09 2023-08-01 南京链和科技有限公司 一种基于摄像的轮胎轮廓测量方法
CN110411308B (zh) * 2019-08-14 2021-08-24 浙江德尔达医疗科技有限公司 一种定制式3d打印模型的精度检测方法
CN111862230B (zh) * 2020-06-05 2024-01-12 北京中科慧眼科技有限公司 一种双目相机的调校方法和装置
CN112504240B (zh) * 2020-07-01 2023-02-17 天津市计量监督检测科学研究院 一种激光投线仪校准系统及校准方法
CN112464751A (zh) * 2020-11-11 2021-03-09 安徽山水空间装饰有限责任公司 用于装修的视频云监控方法及其装置
CN112798142B (zh) * 2020-12-28 2021-09-24 哈尔滨工业大学 基于贝叶斯更新和随机模拟的布里渊光纤传感器应变与温度两阶段快速识别方法
CN114018413A (zh) * 2021-10-15 2022-02-08 深圳供电局有限公司 温度检测设备
CN116226951B (zh) * 2022-12-05 2024-04-30 中山市可讯科技有限公司 一种新型的在线平面测量方法及其应用
CN116147506B (zh) * 2023-04-23 2023-07-18 钛玛科(北京)工业科技有限公司 一种双ccd相机测宽方法及系统
CN117710603B (zh) * 2024-02-04 2024-04-30 东华理工大学南昌校区 一种直线几何结构约束下无人机图像三维建筑物建模方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610175A (zh) * 2017-08-04 2018-01-19 华南理工大学 基于半直接法和滑动窗口优化的单目视觉slam算法
CN108107462A (zh) * 2017-12-12 2018-06-01 中国矿业大学 Rtk与高速相机组合的交通标志杆姿态监测装置及方法
CN108242079A (zh) * 2017-12-30 2018-07-03 北京工业大学 一种基于多特征视觉里程计和图优化模型的vslam方法
CN108332752A (zh) * 2018-01-09 2018-07-27 深圳市沃特沃德股份有限公司 机器人室内定位的方法及装置
CN108615244A (zh) * 2018-03-27 2018-10-02 中国地质大学(武汉) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN108717712A (zh) * 2018-05-29 2018-10-30 东北大学 一种基于地平面假设的视觉惯导slam方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10012504B2 (en) * 2014-06-19 2018-07-03 Regents Of The University Of Minnesota Efficient vision-aided inertial navigation using a rolling-shutter camera with inaccurate timestamps
EP3078935A1 (en) * 2015-04-10 2016-10-12 The European Atomic Energy Community (EURATOM), represented by the European Commission Method and device for real-time mapping and localization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610175A (zh) * 2017-08-04 2018-01-19 华南理工大学 基于半直接法和滑动窗口优化的单目视觉slam算法
CN108107462A (zh) * 2017-12-12 2018-06-01 中国矿业大学 Rtk与高速相机组合的交通标志杆姿态监测装置及方法
CN108242079A (zh) * 2017-12-30 2018-07-03 北京工业大学 一种基于多特征视觉里程计和图优化模型的vslam方法
CN108332752A (zh) * 2018-01-09 2018-07-27 深圳市沃特沃德股份有限公司 机器人室内定位的方法及装置
CN108615244A (zh) * 2018-03-27 2018-10-02 中国地质大学(武汉) 一种基于cnn和深度滤波器的图像深度估计方法及系统
CN108717712A (zh) * 2018-05-29 2018-10-30 东北大学 一种基于地平面假设的视觉惯导slam方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Building 3D visual maps of interior space with a new hierarchical sensor fusion architecture";HyukseongKwon,Khalil M.Ahmad Yousef,Avinash C.Kak;《Robotics and Autonomous Systems》;20130831;全文 *
"基于图优化的移动机器人视觉SLAM";张毅,沙建松;《智能系统学报》;20180430;全文 *

Also Published As

Publication number Publication date
CN109523595A (zh) 2019-03-26

Similar Documents

Publication Publication Date Title
CN109523595B (zh) 一种建筑工程直线棱角间距视觉测量方法
CN109410256B (zh) 基于互信息的点云与影像自动高精度配准方法
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
US9787960B2 (en) Image processing apparatus, image processing system, image processing method, and computer program
CN105021124B (zh) 一种基于深度图的平面零件三维位置和法向量计算方法
CN109615653B (zh) 基于深度学习与视场投影模型的渗漏水面积检测与识别方法
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
JP2016128810A (ja) 奥行きカメラを校正する方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
CN111144213B (zh) 一种对象检测方法和相关设备
CN112270698B (zh) 基于最邻近曲面的非刚性几何配准方法
CN113920205B (zh) 一种非同轴相机的标定方法
CN112815843B (zh) 一种3d打印过程中工件表面打印偏差的在线监测方法
Taylor et al. Automatic calibration of multi-modal sensor systems using a gradient orientation measure
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法
CN111750804A (zh) 一种物体测量的方法及设备
CN115685160A (zh) 基于标靶的激光雷达与相机标定方法、系统、电子设备
CN113658279B (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN113920201A (zh) 极线几何约束的鱼眼相机标定方法
CN112712566A (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
CN116563370A (zh) 基于单目计算机视觉的测距方法和测速方法
JP4747293B2 (ja) 画像処理装置および画像処理方法並びにこれらに用いるプログラム
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant