CN116342674A - 一种三维模型计算沥青路面构造深度方法 - Google Patents

一种三维模型计算沥青路面构造深度方法 Download PDF

Info

Publication number
CN116342674A
CN116342674A CN202310309976.6A CN202310309976A CN116342674A CN 116342674 A CN116342674 A CN 116342674A CN 202310309976 A CN202310309976 A CN 202310309976A CN 116342674 A CN116342674 A CN 116342674A
Authority
CN
China
Prior art keywords
image
camera
gray
corrected
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310309976.6A
Other languages
English (en)
Inventor
宋永朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Jiaotong University
Original Assignee
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Jiaotong University filed Critical Chongqing Jiaotong University
Priority to CN202310309976.6A priority Critical patent/CN116342674A/zh
Publication of CN116342674A publication Critical patent/CN116342674A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种三维模型计算沥青路面构造深度方法,包括如下步骤:100.获取左右两台摄像机的内参和外参;200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像;300.将左图像和右图像分别处理成左灰度图像和右灰度图像;400.分别对左灰度图像和右灰度图像进行畸变校正,得到第一校正左灰度图像和第一校正右灰度图像;500.分别对第一校正左灰度图像和第一校正右灰度图像进行立体校正,得到第二校正左灰度图像和第二校正右灰度图像;600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配;700.消除立体匹配错误的值;800.修正拍摄角度误差;900.计算沥青路面的构造深度。本发明具有快速高效、不易受干扰、价格低廉和检测结果更加准确等优点。

Description

一种三维模型计算沥青路面构造深度方法
技术领域
本发明申请为申请日2019年01月21日,申请号为:201910053244.9,名称为“基于双目视觉的沥青路面构造深度检测方法”的发明专利申请的分案申请。
本发明涉及到道路工程建设中沥青路面构造深度的检测技术,尤其是涉及一种基于双目视觉的沥青路面构造深度检测方法。
背景技术
沥青路面的抗滑性能对行车安全影响显著,构造深度是评价沥青路面抗滑性能的重要指标。沥青路面的构造深度是指道路表面凹凸不平的开口孔隙的平均深度,反映了路面的粗糙程度。路面构造深度过小将会降低沥青路面的抗滑性能,不仅会导致汽车出现打滑的现象,并且会增大汽车的刹车距离,严重影响行车安全。
目前,沥青路面构造深度的检测方法主要有铺沙法、激光构造深度仪法和数字图像法三种。铺沙法原理简单,测量方便,但是极其耗时;激光构造深度仪法虽然精度较高,但是需要专门设备,价格昂贵;数字图像法检测快速高效,但是容易受到外界光照和路面自身颜色的干扰。显然,现有的沥青路面构造深度检测方法存在着耗时较长,或者价格昂贵和易受干扰等问题。
因此,研究一种快速高效、不易受干扰、价格低廉的沥青构造深度检测方法具有必要性。
发明内容
为了克服上述问题,本发明提供一种快速高效、不易受干扰和价格低廉的沥青路面构造深度检测方法。
本发明的技术方案是:提供一种基于双目视觉的沥青路面构造深度检测方法,包括如下步骤:
100.获取左右两台摄像机的内参和外参;
200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像;
300.将左图像和右图像分别处理成左灰度图像和右灰度图像;
400.分别对左灰度图像和右灰度图像进行畸变校正,得到第一校正左灰度图像和第一校正右灰度图像;
500.根据左右两台摄像机的内参和外参,分别对第一校正左灰度图像和第一校正右灰度图像进行立体校正,得到第二校正左灰度图像和第二校正右灰度图像;600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配,识别出第二校正左灰度图像和第二校正右灰度图像上对应的像素点,计算视差值d,根据视差值d计算图像上每个像素点在摄像机坐标系下距离摄像机平面的距离,生成一个包含图像上每个像素点的高度信息的模型矩阵M,恢复出路面的三维模型;
700.消除立体匹配错误的值;
800.修正摄像机的拍摄角度误差;
900.计算沥青路面的构造深度。
作为对本发明的改进,在上述步骤300中,还包括如下步骤:301.将左彩色图像和右彩色图像分别由红色(R)、绿色(G)、蓝色(B)三个通道按下式计算后,转换为的左单通道灰度图像和右单通道灰度图像;
f(x,y)=R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114;
其中,f(x,y)为像素点的灰度值,R(x,y)、G(x,y)、B(x,y)分别为像素点的红色、绿色、蓝色三个通道的值。
作为对本发明的改进,在上述步骤300中,还包括如下步骤:302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理,得到左灰度图像和右灰度图像。
作为对本发明的改进,在上述步骤400中,还包括如下步骤:401.根据摄像机的内参按照下式确定出畸变系数k1、k2
Figure BDA0004148067150000031
其中,k1、k2为摄像机的畸变系数,u、v为无畸变的像素坐标,x、y为无畸变的连续像素坐标,u0、v0为摄像机主点的像素坐标,
Figure BDA0004148067150000032
为畸变后的像素坐标;
402.利用所得的摄像机畸变系数k1、k2按下式,分别对左灰度图像和右灰度图像进行畸变校正:
Figure BDA0004148067150000033
Figure BDA0004148067150000034
作为对本发明的改进,在上述步骤500中,还包括如下步骤:
501.确定出左右两台摄像机之间的相对位置关系:
502.利用罗德里格斯变换,将相对旋转矩阵分解成为左图像和右图像各自的合成旋转矩阵rl、rr
503.计算左右两幅图像各自的旋转矩阵Rlt、Rrt,将左图像根据旋转矩阵Rl旋转,将右图像根据旋转矩阵Rr进行旋转,使两幅图像的极线水平,且极点在无穷远处,完成立体校正。
作为对本发明的改进,在上述步骤600中,还包括如下步骤:601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后,识别出第二校正左灰度图像和第二校正右灰度图像上的同一个像素点,并计算视差值d;
Figure BDA0004148067150000041
其中,xl、xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上的像素横轴坐标;
602.用下式计算每一个像素点距离摄像机平面的高度值z;
Figure BDA0004148067150000042
其中,为相对平移向量T在横轴方向上的分量,表示左右两台摄像机之间的距离,f为摄像机焦距,ul、ur分别表示左右两台摄像机的主点在横轴上的像素坐标,d为视差值;
603.将所有像素点的高度值组成一个模型矩阵M,恢复出路面的三维模型。
作为对本发明的改进,在上述步骤700中,还包括如下步骤:
701.按下式计算像素点对应的高度值的一阶差商,确定立体匹配错误像素点的位置;
k=(zi+1-zi)/(xi+1-xi);
其中,k为像素点的一阶差商,xi,xi+1为第i和第i+1个像素点的像素横坐标,zi,zi+1为第i和第i+1个像素点的高度值。
702.将一阶差商大于1的点定义为匹配错误的值,利用7×7的滤波窗口,把匹配错误的值放在窗口中心,将窗口内所有的灰度值从小到大进行排列,计算出窗口内灰度值的中值,用中值替换匹配错误的值,输出替换后的高度值。
作为对本发明的改进,在上述步骤800中,还包括如下步骤:801.对模型矩阵M的元素做平面拟合,按下式计算出拟合平面的参数a1,a2,a3
Figure BDA0004148067150000051
其中,xi,yi为第i个像素点的像素坐标,zi为第i个像素点的高度,n为矩阵中总的像素点个数。
作为对本发明的改进,在上述步骤800中,还包括如下步骤:
802.利用下式计算修正后的各像素点的高度值,完成拍摄角度误差修正;
hi=zi-a1xi-a2yi-a3
其中,zi、hi分别为拍摄角度修正前和修正后的第i个像素点的高度。
作为对本发明的改进,在上述步骤900中,按下式进行计算沥青路面的构造深度Hp
Figure BDA0004148067150000052
其中,hmax为像素点高度值的最大值,hi为第i个像素点的高度值,m和n为模型矩阵M的行数和列数。
本发明由于采用了左右两台摄像机,通过对左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像,依次进行灰度处理、畸变校正、立体校正、恢复出路面的三维模型、消除立体匹配错误的值、修正摄像机的拍摄角度误差,最后计算沥青路面的构造深度;在检测过程中所受受光照和路面自身颜色的影响较小,不仅能测量沥青路面构造深度,同时还能恢复出路面的三维模型,能够更直观地反映出沥青路面的技术状况信息,供检测人员参考;克服了激光构造深度仪法需要使用专门设备且价格昂贵的缺点,利用一对普通的摄像机镜头即可完成检测;克服了传统手工铺沙法和电动铺沙法检测速度较慢且受人为主观影响较大的缺点,具有快速高效、不易受干扰、价格低廉和检测结果更加准确等优点。
附图说明
图1是本发明的流程方框示意图。
图2是本发明标定所用棋盘格。
图3是本发明中左右两台摄像机工作时的平面结构示意图。
具体实施方式
在本发明的描述中,需要理解的是,术语中“中心”、“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“连接”、“相连”应做广义理解,例如,可以是固定连接,也可以是拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以是通过中间媒介间接相连,可以是两个组件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明的具体含义。
请参见图1,图1所揭示的是一种基于双目视觉的沥青路面构造深度检测方法的流程图,基于双目视觉的沥青路面构造深度检测方法包括如下步骤:
100.获取左右两台摄像机的内参和外参;
200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像;
300.将左图像和右图像分别处理成左灰度图像和右灰度图像;
400.分别对左灰度图像和右灰度图像进行畸变校正,得到第一校正左灰度图像和第一校正右灰度图像;
500.根据左右两台摄像机的内参和外参,分别对第一校正左灰度图像和第一校正右灰度图像进行立体校正,得到第二校正左灰度图像和第二校正右灰度图像;
600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配,识别出第二校正左灰度图像和第二校正右灰度图像上对应的像素点,计算视差值d,根据视差值d计算图像上每个像素点在摄像机坐标系下距离摄像机平面的距离,生成一个包含图像上每个像素点的高度信息的模型矩阵M,恢复出路面的三维模型;
700.消除立体匹配错误的值;
800.修正摄像机的拍摄角度误差;
900.计算沥青路面的构造深度。
在本方法的上述步骤100中,左右两台摄像机的规格相同,成像面平行共面且行对准,左右之间相隔一段距离的摄像机作为双目摄像机,以测量平台为原点构建世界坐标系,采用张正友标定法对双目摄像机进行标定,求解两台摄像机的内参和外参。需要说明的是,摄像机的内参只与摄像机的规格有关,在摄像机出厂以后就唯一确定,摄像机外参只与左右两台摄像机之间的相对位置关系有关。摄像机内参包含了摄像机焦距f,比例因子zc,摄像机主点位置u0、v0,反应了摄像机的内部结构情况。摄像机外参包含了摄像机相对于标定物的旋转矩阵R和摄像机相对于标定物的平移向量T,反应了摄像机之间的相对位置关系。
进一步,利用MATLAB软件对摄像机进行标定,采用张正友标定法,利用摄像机拍摄一组棋盘格图像,棋盘格图像如图2所示,然后利用MATLAB软件识别出数字图像上的棋盘格角点,建立数字图像中的棋盘格角点与和现实世界中的棋盘格角点之间的对应关系,求解摄像机的内参和外参。包括如下步骤:
101.设世界坐标系下一个点的坐标为P(X,Y,Z),其对应的图像上一点的像素坐标为p(u,v),则世界坐标到像素坐标的转换过程按下式进行:
Figure BDA0004148067150000081
Figure BDA0004148067150000082
ax=zcf;
ay=zcf;
其中,K为摄像机的内参矩阵,u0、v0为摄像机主点的像素坐标,ax、ay为摄像机焦距参数,R为摄像机相对于标定物的3×3旋转矩阵,T为摄像机相对于标定物的3×1平移向量,zc为比例因子。
102.假定摄像机坐标系和世界坐标系相互重合,则上式转化为:
Figure BDA0004148067150000083
H=zcK[r1 r2 T];
式中,H为3×3的单应性矩阵,r1,r2分别为摄像机旋转矩阵R的第一列和第二列。
单应性矩阵中包含了全部的摄像机内参和外参,将单应性矩阵H写做三个列向量的形式[h1h2h3],利用坐标转换中的约束条件,根据下式求解单应性矩阵;
Figure BDA0004148067150000084
103.利用双目摄像机拍摄一组棋盘格图像,然后利用图像识别技术识别出棋盘格的角点,将像素坐标系下的角点p(u,v)与世界坐标系下的角点P(X,Y,Z)作为已知值,计算单应性矩阵,求解出全部的摄像机内参和外参。
在本方法的上述步骤200中,如图3所示,由于左右两台摄像机1的规格相同,成像面平行共面且行对准,左右之间相隔一段距离的摄像机1作为一组双目摄像机。也就是说,本发明中的左右两台摄像机1构成一组双目摄像机,将双目摄像机以一定高度垂直安装于沥青路面2上,通过计算机控制左右两台摄像机1同时拍照,利用所获得的左右两幅数字图像对沥青路面2构造深度进行检测,左右两台摄像机1拍摄区域相互重合的部分即为被测区域3。双目摄像机必须选择焦距固定的摄像机,不能选择带有自动变焦功能的摄像机镜头。需要说明的是,将左右两台摄像机1按一定高度安装在沥青路面2上方,摄像机1的光轴与沥青路面2互相垂直,左右两台摄像机1的拍摄区域相互重合(请参见图3)。
在本方法的上述步骤300中,还包括如下步骤:
301.将左彩色图像和右彩色图像分别由红色(R)、绿色(G)、蓝色(B)三个通道按下式计算后,转换为的左单通道灰度图像和右单通道灰度图像;
f(x,y)=R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114;
其中,f(x,y)为像素点的灰度值,R(x,y)、G(x,y)、B(x,y)分别为像素点的红色、绿色、蓝色三个通道的值。
302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理,得到左灰度图像和右灰度图像。
所述中值滤波去噪是指利用3×3的正方形二维滑动模板在图像上进行滑动,将待处理的灰度值放在窗口的中间,将窗口内所有的灰度值从小到大进行排列,计算出窗口内灰度值的中值,当待处理的灰度值等于灰度值的最大值或最小值时,则判定这个灰度值异常,用灰度值的中值替换待处理灰度值,输出替换后的灰度值;反之则判定为正常值,输出原本的灰度值。
在本方法的上述步骤400中,还包括如下步骤:
401.根据摄像机的内参按照下式确定出畸变系数k1、k2
Figure BDA0004148067150000101
其中,k1、k2为摄像机的畸变系数,u、v为无畸变的像素坐标,x、y为无畸变的连续像素坐标,u0、v0为摄像机主点的像素坐标,
Figure BDA0004148067150000102
为畸变后的像素坐标。需要说明的是,畸变校正是指对图像中可能产生的桶形畸变或枕形畸变进行校正,校正的依据是摄像机的内参。
402.利用所得的摄像机畸变系数k1、k2按下式,分别对左灰度图像和右灰度图像进行畸变校正:
Figure BDA0004148067150000103
Figure BDA0004148067150000104
在本方法的上述步骤500中,立体校正是指对左右两个摄像机的相对位置进行校正,左右两个摄像机在安装过程中会存在误差,两个成像平面不可能完全平行共面且行对准,因此需要将两幅图像进行立体校正。利用标定得到的摄像机外参用Bouguet算法对图像进行校正。还包括如下步骤:
501.确定出左右两台摄像机之间的相对位置关系,公式如下:
R=RrRlT;
T=Tr-RTl
其中,R为左右两台摄像机之间的3×3相对旋转矩阵,T为左右两个摄像机之间的3×1相对平移向量,Rl、Rr分别为左右两台摄像机相对于标定物的3×3旋转矩阵,Tl、Tr分别为左右两台摄像机相对于标定物的3×1平移向量;
502.利用罗德里格斯变换,将相对旋转矩阵分解成为左图像和右图像各自的合成旋转矩阵rl、rr
503.计算左右两幅图像各自的旋转矩阵Rlt、Rrt,将左图像根据旋转矩阵Rl旋转,将右图像根据旋转矩阵Rr进行旋转,使两幅图像的极线水平,且极点在无穷远处,完成立体校正。公式如下:
Rlt=Rrectrl
Rrt=Rrectrr
Rrect=[e1 e2 e3];
Figure BDA0004148067150000111
Figure BDA0004148067150000112
e3=e1×e2
式中,Rlt、Rrt为分别左右图像各自的3×3旋转矩阵,R为左右两个摄像机之间的3×3相对旋转矩阵,T为左右两个摄像机之间的3×1相对平移向量,rl、rr分别为左右图像的合成旋转矩阵。
在本方法的上述步骤600中,还包括如下步骤:
601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后,识别出第二校正左灰度图像和第二校正右灰度图像上的同一个像素点,并计算视差值d,单位为mm;
Figure BDA0004148067150000113
其中,xl、xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上的像素横轴坐标;
602.用下式计算每一个像素点距离摄像机平面的高度值z;
Figure BDA0004148067150000121
其中,为相对平移向量T在横轴方向上的分量,表示左右两台摄像机之间的距离,f为摄像机焦距,ul、ur分别表示左右两台摄像机的主点在横轴上的像素坐标,d为视差值,单位为mm。可见,视差值d越大,则像素点距离摄像机越近,视差值d越小,则像素点距离摄像机越远。
603.将所有像素点的高度值组成一个模型矩阵M,恢复出路面的三维模型。
在本方法的上述步骤700中,还包括如下步骤:
701.按下式计算像素点对应的高度值的一阶差商,确定立体匹配错误像素点的位置;
k=(zi+1-zi)/(xi+1-xi);
其中,k为像素点的一阶差商,xi,xi+1为第i和第i+1个像素点的像素横坐标,zi,zi+1为第i和第i+1个像素点的高度值,单位为mm。
702.将一阶差商大于1的点定义为匹配错误的值,利用7×7的滤波窗口,把匹配错误的值放在窗口中心,将窗口内所有的灰度值从小到大进行排列,计算出窗口内灰度值的中值,用中值替换匹配错误的值,输出替换后的高度值。
在本方法的上述步骤800中,还包括如下步骤:
801.对模型矩阵M的元素做平面拟合,按下式计算出拟合平面的参数a1,a2,a3
Figure BDA0004148067150000122
其中,xi,yi为第i个像素点的像素坐标,zi为第i个像素点的高度,单位为mm,n为矩阵中总的像素点个数。
802.利用下式计算修正后的各像素点的高度值,完成拍摄角度误差修正;
hi=zi-a1xi-a2yi-a3
其中,zi、hi分别为拍摄角度修正前和修正后的第i个像素点的高度,单位为mm,n为矩阵中总的像素点个数。
在本方法的上述步骤900中,利用MATLAB软件按下式进行计算沥青路面的构造深度Hp
Figure BDA0004148067150000131
其中,hmax为像素点高度值的最大值,单位为mm,hi为第i个像素点的高度值,单位为mm,m和n为模型矩阵M的行数和列数。
本发明由于采用了左右两台摄像机,通过对左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像,依次进行灰度处理、畸变校正、立体校正、恢复出路面的三维模型、消除立体匹配错误的值、修正摄像机的拍摄角度误差,最后计算沥青路面的构造深度;在检测过程中所受受光照和路面自身颜色的影响较小,不仅能测量沥青路面构造深度,同时还能恢复出路面的三维模型,能够更直观地反映出沥青路面的技术状况信息,供检测人员参考;克服了激光构造深度仪法需要使用专门设备且价格昂贵的缺点,利用一对普通的摄像机镜头即可完成检测;克服了传统手工铺沙法和电动铺沙法检测速度较慢且受人为主观影响较大的缺点,具有快速高效、不易受干扰、价格低廉和检测结果更加准确等优点。
需要说明的是,针对上述各实施方式的详细解释,其目的仅在于对本发明进行解释,以便于能够更好地解释本发明,但是,这些描述不能以任何理由解释成是对本发明的限制,特别是,在不同的实施方式中描述的各个特征也可以相互任意组合,从而组成其他实施方式,除了有明确相反的描述,这些特征应被理解为能够应用于任何一个实施方式中,而并不仅局限于所描述的实施方式。

Claims (5)

1.一种三维模型计算沥青路面构造深度方法,其特征在于,包括如下步骤:
100.获取左右两台摄像机的内参和外参;
200.使用左右两台摄像机分别采集沥青路面的左彩色图像和右彩色图像;
300.将左图像和右图像分别处理成左灰度图像和右灰度图像;
400.分别对左灰度图像和右灰度图像进行畸变校正,得到第一校正左灰度图像和第一校正右灰度图像;
500.根据左右两台摄像机的内参和外参,分别对第一校正左灰度图像和第一校正右灰度图像进行立体校正,得到第二校正左灰度图像和第二校正右灰度图像;600.对第二校正左灰度图像和第二校正右灰度图像进行立体匹配,识别出第二校正左灰度图像和第二校正右灰度图像上对应的像素点,计算视差值d,根据视差值d计算图像上每个像素点在摄像机坐标系下距离摄像机平面的距离,生成一个包含图像上每个像素点的高度信息的模型矩阵M,恢复出路面的三维模型;
700.对模型矩阵中相邻两个像素点之间高度值的差商值设置阈值,确定出立体匹配错误值的位置,利用中值滤波窗口对立体匹配错误的值进行修正,消除立体匹配错误的值;
800.对模型矩阵M进行平面拟合,将模型矩阵M和拟合平面相减,修正采集图像时由于摄像机光轴与路面不完全垂直带来的拍摄角度误差;
900.计算沥青路面的构造深度;
所述步骤300中,还包括如下步骤:
301.将左彩色图像和右彩色图像分别由红色(R)、绿色(G)、蓝色(B)三个通道按下式计算后,转换为的左单通道灰度图像和右单通道灰度图像;
f(x,y)=R(x,y)×0.299+G(x,y)×0.587+B(x,y)×0.114;
其中,f(x,y)为像素点的灰度值,R(x,y)、G(x,y)、B(x,y)分别为像素点的红色、绿色、蓝色三个通道的值;
302.利用中值滤波对左单通道灰度图像和右单通道灰度图像进行去噪处理,得到左灰度图像和右灰度图像;
所述步骤400中,还包括如下步骤:
401.根据摄像机的内参按照下式确定出畸变系数k1、k2
Figure FDA0004148067140000021
其中,k1、k2为摄像机的畸变系数,u、v为无畸变的像素坐标,x、y为无畸变的连续像素坐标,u0、v0为摄像机主点的像素坐标,
Figure FDA0004148067140000022
为畸变后的像素坐标;
402.利用所得的摄像机畸变系数k1、k2按下式,分别对左灰度图像和右灰度图像进行畸变校正:
Figure FDA0004148067140000023
Figure FDA0004148067140000024
所述步骤500中,还包括如下步骤:
501.确定出左右两台摄像机之间的相对位置关系:
502.利用罗德里格斯变换,将相对旋转矩阵分解成为左图像和右图像各自的合成旋转矩阵rl、rr
503.计算左右两幅图像各自的旋转矩阵Rlt、Rrt,将左图像根据旋转矩阵Rl旋转,将右图像根据旋转矩阵Rr进行旋转,使两幅图像的极线水平,且极点在无穷远处,完成立体校正;
所述步骤600中,还包括如下步骤:
601.利用半全局匹配算法(SGBM)遍历图像上每一个像素点后,识别出第二校正左灰度图像和第二校正右灰度图像上的同一个像素点,并计算视差值d;
Figure FDA0004148067140000031
其中,xl、xr分别为同一个像素点在第二校正左灰度图像和第二校正右灰度图像上的像素横轴坐标;
602.用下式计算每一个像素点距离摄像机平面的高度值z;
Figure FDA0004148067140000032
其中,为相对平移向量T在横轴方向上的分量,表示左右两台摄像机之间的距离,f为摄像机焦距,ul、ur分别表示左右两台摄像机的主点在横轴上的像素坐标,d为视差值;
603.将所有像素点的高度值组成一个模型矩阵M,恢复出路面的三维模型。
2.根据权利要求1所述的一种三维模型计算沥青路面构造深度方法,其特征在于,在上述步骤700中,还包括如下步骤:
701.按下式计算像素点对应的高度值的一阶差商,确定立体匹配错误像素点的位置;
k=(zi+1-zi)/(xi+1-xi);
其中,k为像素点的一阶差商,xi,xi+1为第i和第i+1个像素点的像素横坐标,zi,zi+1为第i和第i+1个像素点的高度值;
702.将一阶差商大于1的点定义为匹配错误的值,利用7×7的滤波窗口,把匹配错误的值放在窗口中心,将窗口内所有的灰度值从小到大进行排列,计算出窗口内灰度值的中值,用中值替换匹配错误的值,输出替换后的高度值。
3.根据权利要求1所述的一种三维模型计算沥青路面构造深度方法,其特征在于,在上述步骤800中,还包括如下步骤:
801.对模型矩阵M的元素做平面拟合,按下式计算出拟合平面的参数a1,a2,a3
Figure FDA0004148067140000041
其中,xi,yi为第i个像素点的像素坐标,zi为第i个像素点的高度,n为矩阵中总的像素点个数。
4.根据权利要求3所述的基于双目视觉的沥青路面构造深度检测方法,其特征在于,在上述步骤800中,还包括如下步骤:
802.利用下式计算修正后的各像素点的高度值,完成拍摄角度误差修正;
hi=zi-a1xi-a2yi-a3
其中,zi、hi分别为拍摄角度修正前和修正后的第i个像素点的高度。
5.根据权利要求1所述的基于双目视觉的沥青路面构造深度检测方法,其特征在于,在上述步骤900中,按下式进行计算沥青路面的构造深度Hp
Figure FDA0004148067140000042
其中,hmax为像素点高度值的最大值,hi为第i个像素点的高度值,m和n为模型矩阵M的行数和列数。
CN202310309976.6A 2019-01-21 2019-01-21 一种三维模型计算沥青路面构造深度方法 Pending CN116342674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310309976.6A CN116342674A (zh) 2019-01-21 2019-01-21 一种三维模型计算沥青路面构造深度方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910053244.9A CN109919856B (zh) 2019-01-21 2019-01-21 基于双目视觉的沥青路面构造深度检测方法
CN202310309976.6A CN116342674A (zh) 2019-01-21 2019-01-21 一种三维模型计算沥青路面构造深度方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201910053244.9A Division CN109919856B (zh) 2019-01-21 2019-01-21 基于双目视觉的沥青路面构造深度检测方法

Publications (1)

Publication Number Publication Date
CN116342674A true CN116342674A (zh) 2023-06-27

Family

ID=66960505

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202310309976.6A Pending CN116342674A (zh) 2019-01-21 2019-01-21 一种三维模型计算沥青路面构造深度方法
CN201910053244.9A Active CN109919856B (zh) 2019-01-21 2019-01-21 基于双目视觉的沥青路面构造深度检测方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910053244.9A Active CN109919856B (zh) 2019-01-21 2019-01-21 基于双目视觉的沥青路面构造深度检测方法

Country Status (1)

Country Link
CN (2) CN116342674A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649454A (zh) * 2024-01-29 2024-03-05 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质
CN117649454B (zh) * 2024-01-29 2024-05-31 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091063B (zh) * 2019-11-20 2023-12-29 北京迈格威科技有限公司 活体检测方法、装置及系统
CN111553878A (zh) * 2020-03-23 2020-08-18 四川公路工程咨询监理有限公司 基于双目视觉的沥青路面混合料摊铺均匀性的检测方法
CN111862234B (zh) * 2020-07-22 2023-10-20 中国科学院上海微系统与信息技术研究所 双目相机自标定方法及系统
CN112819820B (zh) * 2021-02-26 2023-06-16 大连海事大学 一种基于机器视觉的路面沥青修补检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8070628B2 (en) * 2007-09-18 2011-12-06 Callaway Golf Company Golf GPS device
CN102635056B (zh) * 2012-04-01 2015-07-15 长安大学 一种沥青路面构造深度的测量方法
CN104775349B (zh) * 2015-02-15 2016-08-24 云南省交通规划设计研究院 一种大空隙排水沥青路面构造深度测试仪及测量方法
CN105225482B (zh) * 2015-09-02 2017-08-11 上海大学 基于双目立体视觉的车辆检测系统和方法
CN105205822A (zh) * 2015-09-21 2015-12-30 重庆交通大学 沥青压实路面离析程度的实时检测方法
CN106845424B (zh) * 2017-01-24 2020-05-05 南京大学 基于深度卷积网络的路面遗留物检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649454A (zh) * 2024-01-29 2024-03-05 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质
CN117649454B (zh) * 2024-01-29 2024-05-31 北京友友天宇系统技术有限公司 双目相机外参自动校正方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109919856A (zh) 2019-06-21
CN109919856B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
CN109919856B (zh) 基于双目视觉的沥青路面构造深度检测方法
CN107462223B (zh) 一种公路转弯前行车视距自动测量装置及测量方法
CN102376089B (zh) 一种标靶校正方法及系统
CN112669393A (zh) 一种激光雷达与相机联合标定方法
CN106978774B (zh) 一种路面坑槽自动检测方法
CN107179322A (zh) 一种基于双目视觉的桥梁底面裂缝检测方法
CN107133983B (zh) 成捆圆钢端面双目视觉系统与空间定位及计数方法
CN109443245B (zh) 一种基于单应性矩阵的多线结构光视觉测量方法
CN103994732B (zh) 一种基于条纹投影的三维测量方法
CN106677037B (zh) 基于机器视觉的便携式沥青路面病害检测方法及装置
CN109191560B (zh) 基于散射信息校正的单目偏振三维重建方法
CN106023193B (zh) 一种用于浑浊介质中结构表面检测的阵列相机观测方法
CN104568963A (zh) 一种基于rgb结构光的在线式三维检测装置
CN111121643B (zh) 一种道路宽度的测量方法及系统
CN103234475B (zh) 一种基于激光三角测量法的亚像素表面形态检测方法
CN111091076B (zh) 基于立体视觉的隧道限界数据测量方法
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN109343041A (zh) 用于高级智能辅助驾驶的单目测距方法
CN107643049B (zh) 基于单目结构光的地磅上车辆位置检测系统及方法
CN110889874B (zh) 一种双目相机标定结果的误差评估方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN204287060U (zh) 一种基于rgb结构光的在线式三维检测装置
CN111968182B (zh) 一种双目相机非线性模型参数的标定方法
CN110543612B (zh) 一种基于单目视觉测量的集卡定位方法
CN113012239B (zh) 一种车路协同路侧感知相机的焦距变化定量计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination