CN204039886U - 一种基于多台相机立体拍摄的路面损坏裂缝检测系统 - Google Patents

Abstract

本实用新型公开了一种基于多台相机立体拍摄的路面损坏裂缝检测系统，该系统包括试验系统和图像处理模块，所述试验系统包括相机，相机支架及其试验标记卡片，将两台相机以一定角度安装于相机支架拍摄路面。通过系统标定，得到物像数学关系。对图像进行预处理、裂缝图像处理、图像阈值分割和图像特征提取，最终计算出裂缝长度。本实用新型主要应用于道路裂缝检测，对于裂缝的检测识别方面开展研究，提出了一种新的思路，进行探索性的研究，为路面裂缝自动检测技术的进一步研究奠定一定的基础。本实用新型投资费用少、检测速度快、精度高的基于立体摄影测量的路面损坏裂缝自动检测系统，能够实现简便、快速、高精度的检测路面裂缝。

Description

一种基于多台相机立体拍摄的路面损坏裂缝检测系统

技术领域

本实用新型属于道路路面检测技术领域，涉及一种路面损坏裂缝自动检测系统，尤其是一种基于多台相机立体拍摄的路面损坏裂缝自动检测系统。 

背景技术

由于公路长期暴露于大气中，经受着自然灾害侵袭、意外事故损坏、车辆磨损以及重载、超载、人为因素破坏等，公路的养护工作刻不容缓。根据我国公路目前的发展现状，我国公路事业必将要从“以建为主”向“以养为主”逐步的过度。因此，我国公路养护工作非常重要，势必向着现代化、科技化的方向发展。 

路面是公路的重要组成部分，其质量的好坏影响着公路的服务水平。裂缝是公路路面的主要损坏之一。在公路的养护和管理过程中，如果路面裂缝能够被及早的发现，并对其进行养护和维修，那么在公路维护中将省去大量的人力和物力。过去，在路面裂缝检测方面采用的是传统的人工检测方法。随着公路的发展和数量的增加，这种人工检测方法已越来越不能适应公路发展的要求。近年来，随着计算机技术和图像处理技术的飞速发展，图像处理技术在模仿人类视觉功能方面取得了开拓性的进展与成果，将图像处理技术应用到路面裂缝自动检测中来，实现了基于图像处理的路面裂缝自动检测识别技术。通过实际应用，证明了该技术能够满足当代公路的养护管理需求，这种自动检测系统也是路面检测 技术以后的发展方向。在高速公路发达的一些国家，该技术已经被产品化，并投入实际使用之中，但还有很多需要改进完善的地方。我国在这方面起步比较晚，与国外水平有着一定的差距。因此，研究和开发适合我国路面状况要求的路面裂缝自动检测系统，满足我国公路检测需要是非常重要的。目前，国内外已经研究开发了一系列路面检测系统，但这些系统技术还不是很成熟，不能完全满足实际要求，还存在各种技术问题需要解决，特别是路面裂缝自动检测技术，还需要在检测方法、实现技术、系统开发等方向进行深入研究。 

目前，由于国外进口的系统设备不仅价格昂贵，而且评价标准和我国有着差异，在路面损坏检测方面也没有实现自动化，国外的检测系统也不能完全满足我国路面检测的要求。我国在自动检测技术方面研究时间短，还处在初期阶段，但近年来取得快速发展，形成了具有我国特色的路况检测系统。纵观国内外路况检测技术的发展和检测系统的开发，还有许多技术难点需要解决，特别是在路面裂缝的自动检测识别方面，还需要进行研究和开发。 

实用新型内容

本实用新型的目的在于克服上述现有技术的缺点，提供一种基于多台相机立体拍摄的路面损坏裂缝自动检测系统，其采用多台相机同时从不同角度拍摄路面同一场景，利用光的直线传播原理，通过路面成像后裂缝处灰度值的不同对图像进行处理，进而得到裂缝。其投资费用少、检测速度快、精度高的基于立体摄影测量的路面损坏裂缝自动检测系统，能够实现简便、快速、高精度的检测路面裂缝。 

本实用新型的目的是通过以下技术方案来实现的： 

本实用新型首先提出一种基于多台相机立体拍摄的路面损坏裂缝检测系统，包括检测系统和裂缝图像处理模块，所述检测系统包括多台相机每两台相机一组、相机支架，所述其中一组两台相机以一个正拍路面一个倾斜拍摄路面的角度固定于支架上，两组相机沿横向布设；所述的裂缝图像处理模块为安装有MATLAB软件的计算机；所述两台相机与计算机连接。 

上述相机采用面阵CCD相机，沿横向布设的两组相机，以路面中线分开左右各一组，多台相机同时拍摄。 

本实用新型具有以下有益效果： 

(1)本实用新型是从多个角度去拍摄同一场景，而现有技术的方法是从一个角度去拍摄，相比而言本实用新型可以得到更好，更多的路面信息。 

(2)单目相机拍摄下不能消除阴影，本实用新型的检测方法可以消除阴影。 

(3)本实用新型采用人工光源可以在晚上工作。 

(4)本实用新型采用的方法更简单、以更简洁的算法检测出准确的路面裂缝。 

(5)本实用新型可以检测路面上坑槽的大小、深度；拥包的大小、高低等三维立体信息。 

附图说明

图1(A)为太阳光照射情况图； 

图1(B)为相机的拍摄角度示意图； 

图2为本实用新型的基于立体摄影测量的路面损坏裂缝自动检测系统中的图像采集相机布局示意图。 

图3为本实用新型的相机标定的三维物像空间光学成像原理图 

图4为本实用新型的物像空间坐标转换关系图。 

图5为本实用新型的路面裂缝检测图像处理流程图。 

具体实施方式

本实用新型首先提出一种基于多台相机立体拍摄的路面损坏裂缝检测系统，包括检测系统和裂缝图像处理模块，所述检测系统包括多台相机每两台相机一组、相机支架，所述其中一组两台相机以一个正拍路面一个倾斜拍摄路面的角度固定于支架上，两组相机沿横向布设；所述的裂缝图像处理模块为安装有MATLAB软件的计算机；所述两台相机与计算机连接。所述相机采用面阵CCD相机，沿横向布设的两组相机，以路面中线分开左右各一组，多台相机同时拍摄。 

下面结合附图对本实用新型做进一步详细描述： 

图1(A)和图1(B)为本实用新型的太阳光照射路面裂缝时横断面原理图。其中图1(A)是太阳光照射情况图，图1(A)是相机的拍摄角度示意图。将裂缝假设成矩形槽，当太阳光倾斜照射裂缝时，根据光的直线传播原理，裂缝矩形槽底部a部分太阳光照射不到，所以看起来有阴影比较暗，b部分是太阳光能到达的地方，所以比较亮，基本和路面背景的亮度相同。顺着太阳光的方向用相机去拍摄路面裂缝，当相机倾斜角度和太阳光平行时，由于光的直线传播，相机只能拍到裂缝的b 部分，a部分拍摄不到，所以拍到的图像中裂缝信息不明显，它和背景的灰度值基本相同。当相机角度再倾斜点时(这里将相机拍摄方向和垂直方向的夹角，记作倾斜角)，即倾斜角变大时，相机只能拍到裂缝底部b部分的一部分信息，甚至拍摄不到裂缝的底部，这时图像中裂缝信息也不明显。当相机倾斜角度很小时裂缝底部的a部分的一部分信息和b部分都能被拍到，这时图像中裂缝信息比较明显，但是裂缝比较细，这种情况和相机正拍有点相似。太阳光照射方向不变，当用相机正拍裂缝时，裂缝底部的a部分和b部分都可以被拍到，图像中裂缝信息比较明显。同样迎着太阳照射方向去拍摄路面时，当相机倾斜角度比较小时，a部分和b部分的一部分信息将被拍到，可以看到裂缝比较明显，当相机倾斜角度足够大时，只能拍到裂缝底部的a部分，这时裂缝信息也是很明显的，所以迎着太阳光去拍摄，不管相机角度是怎么样的，都能拍到a部分，裂缝信息都是很明显的信息。 

在本实用新型的较佳实施例中，该基于多台相机立体拍摄的路面损坏裂缝检测系统，包括试验系统和裂缝图像处理模块，所述试验系统包括有两台相机、相机支架和标记纸片，所述两台相机以一个正拍路面一个倾斜拍摄路面的角度固定于支架上；所述的裂缝图像处理模块为安装有MATLAB软件的计算机；所述两台相机与计算机连接。在本实用新型的最佳方案中，相机采用canon A630。 

如图2所示，为本实用新型的基于立体摄影测量的路面损坏裂缝自动检测系统中的图像采集相机布局示意图。太阳光倾斜照射时，将第一台相机与路面垂直放置，让其正对路面拍摄，这样拍摄时，裂缝底部全部 被拍摄到，裂缝底部光到达不了的地方也被拍到，所以图像上裂缝信息比较明显，背景亮度和裂缝亮度差别比较大。将第二台相机顺着太阳光并与太阳光平行的角度去拍摄路面裂缝，这种拍摄如上面分析，图像中裂缝信息不明显，基本上裂缝和背景亮度差不多。最后对同一场景的两幅图像进行处理，通过两幅图像运算，将裂缝提取出来。 

如图3所示，为本实用新型的相机标定的三维物像空间光学成像原理图。采用相机拍摄目标，目标在相机的像面上成像，相机拍摄的空间物体和像平面中的像点具有对应关系。利用光学成像原理进行摄影测量，分别在空间和图像中建立坐标系，如图4所示，为本实用新型的物像空间坐标转换关系图。其中物像空间中物点坐标和像点坐标之间的关系式，可通过三维物像空间成像关系及三维物像空间成像关系中物点坐标和像点坐标之间的转换关系得到。物点A(X，Y，Z)经过光学成像系统(其光心为S)成像到像面上的点a(x，y)。物像的数学关系式为: 

$\left\{\begin{array}{c}x+\frac{l_{1}X+l_{2}Y+l_{3}Z+l_4}{l_{9}X+l_{10}Y+l_{11}Z+1}=0\\ y+\frac{l_{5}X+l_{6}Y+l_{7}Z+l_8}{l_{9}X+l_{10}Y+l_{11}Z+1}=0\end{array}\right.---\left(1\right)$

式(1)即为物像空间直接线性变换的基本公式，它包含了11个参量l_i(i＝1，2，…，11)，通过11个参量直接建立像平面坐标(x，y)与物空间坐标(X，Y，Z)之间的关系式。 

本实用新型中研究裂缝信息时，只对路面进行拍摄，如果不考虑裂缝的深度信息时，路面可以近似的看做二维平面，所以物像关系可以由上面的三维简化为二维，在空间坐标系中，二维平面方程可表示为: 

Z=AX+BY+C(A，B，C为平面方程系数)  (2) 

将(2)式代入(1)式中，整理并化简，可得二维物像的数学关系为： 

$\left\{\begin{array}{c}x+\frac{p_{1}X+p_{2}Y+p_3}{p_{7}X+p_{8}Y+1}=0\\ y+\frac{p_{4}X+p_{5}Y+p_6}{p_{7}X+p_{8}Y+1}=0\end{array}\right.---\left(3\right)$

其中，p_i(i＝1，2，…，8)与式(2.7)中系数的关系如下： 

$\left\{\begin{array}{c}{p}_1=\frac{l_1+l_{3}A}{l_{11}C+1};p_2=\frac{l_2+l_{3}B}{l_{11}C+1};p_3=\frac{l_{3}C+l_4}{l_{11}C+1};\\ p_4=\frac{l_5+l_{7}A}{l_{11}C+1};p_5=\frac{l_6+l_{7}B}{l_{11}C+1};p_6=\frac{l_{7}C+l_8}{l_{11}C+1}\\ p_7=\frac{l_9+l_{11}A}{l_{11}C+1};p_8=\frac{l_{10}+l_{11}B}{l_{11}C+1}\end{array};\right.$

二维物像空间关系中系数只有8个即p_i(i＝1，2，…，8)，从方程组可以看出只要知道4个点的物点坐标和像点坐标，就可以将系数p_i(i＝1，2，…，8)解出来。路面上的物点和像平面上像点一一对应，对于物空间中每个已知点(X，Y)通过式子(3)都可以得知像点坐标(x，y)，反之亦然。 

参考图5所示，为本实用新型的路面裂缝检测图像处理流程图。进行路面裂缝检测方法包括以下步骤： 

1)相机标定 

首先制作标定模板，在标定模板上设置标志点，采用两个相机从不同角度拍摄模板(即待检测路面)，测出标志点的物空间坐标和像平面坐标，代入二维空间物像数学关系式解算出相机参数，进而得出物像数学关系式。 

2)图像采集 

两个相机一台正拍路面，另一台倾斜拍摄路面，将拍摄图像输入计 算机。 

3)图像预处理 

采集来的路面图像质量较差，在图像处理过程中，要对图像进行预处理。首先对图像进行直方图均衡化处理，直方图均衡化后，图像灰度的动态范围扩大，增强了图像对比度，使图像更清晰，有利于后期图像处理。此方法通常应用于图像过于明亮或黑暗、图像对比度较差及图像的灰度分布大多集中在明、暗两端的情况。其次，本实用新型采用中值滤波滤除噪声。该方法能够在抑制噪声的同时很好的保持图像边缘，而且对椒盐噪声及图像扫描噪声的滤除非常有效。 

4)路面裂缝图像处理 

利用两图像间数学关系对倾斜拍摄图像进行图像变换,再将正拍图像和变换后的图像进行加、减、乘运算。具体如下： 

图像变换 

根据物像之间的关系式(3)，在不同视角下的拍摄，可得到正拍物 

像关系式(4)，倾斜拍摄关系式(5)： 

$\left\{\begin{array}{c}{x}_1+\frac{t_{1}X+t_{2}Y+t_3}{t_{7}X+t_{8}Y+1}=0\\ y_1+\frac{t_{4}X+t_{5}Y+t_6}{t_{7}X+t_{8}Y+1}=0\end{array}\right.---\left(4\right)$

$\left\{\begin{array}{c}{x}_2+\frac{{t_1}^{\′}X+{t_2}^{\′}Y+{t_3}^{\′}}{{t_7}^{\′}X+{t_8}^{\′}Y+1}=0\\ y_2+\frac{{t_4}^{\′}X+{t_5}^{\′}Y+{t_6}^{\′}}{{t_7}^{\′}X+{t_8}^{\′}Y+1}=0\end{array}\right.---\left(5\right)$

联立(4)式，(5)式，整理可得两个像点之间的关系式： 

$\left\{\begin{array}{c}{x}_2=\frac{A_1{x}_1+A_2{y}_1+A_3}{A_7{x}_1+A_8{y}_1+1}\\ y_2=\frac{A_4{x}_1+A_5{y}_1+A_6}{A_7{x}_1+A_8{y}_1+1}\end{array}\right.---\left(6\right)$

(6)式中有8个系数，当(4)式，(5)式系数是个已知量时，这8个系数也就确定。(6)式建立了物空间同一点，在两幅图像上的像点之间的变换关系。通过该式对倾斜拍摄图像进行图像变化，得到变换后图像。 

图像加减乘法处理 

将相机正拍时的图像与变换后图像分别做加运算，减运算和乘运算，即两幅图像的对应像素点灰度值相加，相减，相乘，分别得到了加图像，减图像和乘图像。 

处理后的加图像和乘图像都比原图像在对比度上要明显的多，裂缝特征特别突出，但是不能消除阴影的影响，如果在不考虑或没有阴影的情况下，很容易从乘图像和加图像中将裂缝信息提取出来。减图像在对比度上比原图像要明显，并且可以消除单目拍摄时所不能消除的阴影。 

5)阈值分割 

本实用新型采用的是迭代阈值法，该方法是基于逼近的思想，方法简单，结果精确，通过迭代阈值法将图像分割为二值图像，为后期裂缝提取打下了基础。 

6)裂缝特征提取 

图像的数学形态学处理 

路面本身结构比较复杂的特点，二值图像中存在孤立的噪声点，而且裂缝的形状不规则，内部有空洞，并有区域不连续现象，而且边缘有毛刺，直接提取裂缝和计算裂缝的长度、宽度比较困难。为了后面裂缝 识别的准确性，必须减轻和去除噪声和毛刺的影响，以及消除裂缝间断现象。本实用新型应用数学形态学方法对二值图像进行处理。对图像先进行了一次闭运算，再进行了一次开运算。裂缝比之前更连通，并且噪生滤除的效果比较好，感兴趣的区域里面噪音被滤除的很干净，裂缝特征被明显的凸显出来，相比而言区域外面的噪音滤除的效果不太理想。区域里面是正拍图像和倾斜拍摄图像的和图像，而区域外面只是正拍图像信息，相当于单目拍摄情况，立体拍摄优于单目拍摄的特点之一是能更好的凸显出裂缝信息，很容易进行后面的裂缝提取。 

裂缝长度计算 

利用物像关系式求解出裂缝端点处的物点坐标，利用距离公式(7)计算出裂缝的长度L。 

$L=\sqrt[2]{{(X_1-X_2)}^2+{(Y_1-Y_2)}^2}---\left(7\right).$

Claims (2)

1.一种基于多台相机立体拍摄的路面损坏裂缝检测系统，其特征在于，包括检测系统和裂缝图像处理模块，所述检测系统包括多台相机每两台相机一组、相机支架，所述其中一组两台相机以一个正拍路面一个倾斜拍摄路面的角度固定于支架上，两组相机沿横向布设；所述的裂缝图像处理模块为安装有MATLAB软件的计算机；所述两台相机与计算机连接。

2.根据权利要求1所述的基于多台相机立体拍摄的路面损坏裂缝检测系统，其特征在于，所述相机采用面阵CCD相机，沿横向布设的两组相机，以路面中线分开左右各一组，多台相机同时拍摄。