CN112484664A - 一种基于激光三维扫描的缺陷识别装置及方法 - Google Patents

Abstract

本申请公开了一种基于激光三维扫描的缺陷识别装置及方法，包括：信息获取模块，所述信息获取模块主要由线结构激光器和相机构成，所述线结构激光器用于按照扫描顺序对待测物体进行扫描，所述相机用于获取待测物体的图像，所述图像中具有所述线结构激光器的扫描光条；图像信息处理模块，所述图像信息处理模块用于利用三点扫描测距的方法，对所述图像进行缺陷识别。本发明采用基于结构光三维检测技术，使得设备原理简单、精度高、对环境光免疫能力强，适用于实时测量。采用不依赖于物体本身的颜色和纹理，采用主动投影已知图案的方法来实现快速鲁棒的匹配特征点，能够达到较高的精度，具有更广阔适用范围。

Description

一种基于激光三维扫描的缺陷识别装置及方法

技术领域

本申请涉及数字图像检测领域，尤其涉及一种基于激光三维扫描的缺陷识别装置及方法。

背景技术

随着道路的使用，各种路面危害影响着道路的使用性能及安全性，也使得使用期限缩短。在诸如缺陷、凸起、泛油、松散等多种病害中，缺陷是危害性较大的病害之一。缺陷不仅影响着道路的美观，还会降低路面平衡度，同时雨水还可能经由缺陷渗入路基，腐蚀破坏路基结构，对路面造成深层次影响。因此，路面缺陷检测技术研究成为道路养护管理部门的重要研究点。

目前我国道路检测仍然以人工检测为主，而以人工的方式检测路面不仅耗时、危险还可能影响交通，并且人工检测还会受主观判断的左右，对结果准确性影响较大，这就会造成大量的人力和财力浪费。

近年，基于数字图像处理技术的路面缺陷自动检测技术得到广泛的关注和应用，表现出了相当的优势，但仍然存在诸多不足，对实际的复杂、随机性强的路面缺陷检测还有待提高，如检测精度差、虚检、漏检等问题。对于基于灰度影像处理技术的路面缺陷自动检测技术来说，缺陷检测算法的好坏对缺陷的识别精度影响较大。同时路面灰度影像的数据质量受到光线和地面噪声等多种环境因素的影响，对检测也会造成较大影响。

发明内容

本申请实施例的目的是提供一种基于激光三维扫描的缺陷识别装置及方法，以解决传统缺陷检测设备中存在的检测效率低，检测难度大，检测精度差、虚检以及漏检现象频繁出现以及检测过程人力物力损耗大的问题。

根据本申请实施例的第一方面，提供一种方法，包括：一种基于激光三维扫描的缺陷识别装置，其特征在于，包括：信息获取模块，所述信息获取模块主要由线结构激光器和相机构成，所述线结构激光器用于按照扫描顺序对待测物体进行扫描，所述相机用于获取待测物体的图像，所述图像中具有所述线结构激光器的扫描光条；图像信息处理模块，所述图像信息处理模块用于利用三点扫描测距的方法，对所述图像进行缺陷识别。

进一步地，所述对所述图像进行缺陷识别，包括：

依次对所述的图像进行零点消除处理、中值高斯滤波、基于二阶导数的特征描述以及提取，以及最小生成树缺陷识别。

进一步地，所述缺陷识别包括待测物体上有无缺陷。

进一步地，所述缺陷识别还包括缺陷的位置、长度、大小以及深度信息的测量。

进一步地，所述缺陷的位置、长度、大小以及深度信息的测量方法，包括：

基于结构光，利用相位信息进行三维重建，还原出待测物体与扫描光条的位置关系，利用解相位和展开相位的方法计算待测物体上缺陷的位置、长度、大小以及深度信息。

进一步地，还包括：

信息显示模块，所述信息显示模块用于显示对待测物体进行缺陷识别结果。

进一步地，还包括：

待测物体图像显示模块，所述待测物体显示模块用于实时显示待测物体的实时图像。

根据本申请实施例的第二方面，提供一种基于激光三维扫描的缺陷识别装置，包括：

通过线结构激光器按照扫描顺序对待测物体进行扫描，通过相机获取待测物体的图像，所述图像中具有所述线结构激光器的扫描光条；

利用三点扫描测距的方法，对所述图像进行缺陷识别。

本申请的实施例提供的技术方案可以包括以下有益效果：

由上述实施例可知，本申请基于线结构光的三维视觉检测技术是激光视觉检测技术中常用的非接触测量技术本发明通过线结构光激光器产生一线状光条，投射到被测物体表面，由于待测物体与检测平台存在高度差，打到物体表面的光条就会发生变形，利用相机采集变形光条图像，通过对图像中变形光条信息的分析，即可获得待测物体体轮廓信息。当光条投射到待测物体，由于路面缺陷的存在，光条在缺陷处发生变形，通过对变形光条图像的分析，即可获得待测物体轮廓信号，进而提取待测物体的三维信息。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种基于激光三维扫描的缺陷识别装置的框图。

图2是根据一示例性实施例示出的一种基于激光三维扫描的缺陷识别装置中信息获取原理的示意图，其中图1为线结构光激光器，2为光条，3为相机，4为待测物体，y为激光器的扫描方向，x为激光器的扫描宽度，z为深度。

图3是根据一示例性实施例示出的一种基于激光三维扫描的缺陷识别装置的测量模型示意图，其中1为线结构光激光器，4为待测物体，5为光平面，6为像平面，O为光学中心，图中包含了三种坐标系，即相机坐标系(o’x’y’z’坐标系)，像平面坐标系(uv)以及世界坐标系(oxyz)。

图4是根据一示例性实施例示出的一种基于激光三维扫描的缺陷识别方法的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

图1是根据一示例性实施例示出的一种基于激光三维扫描的缺陷识别装置的框图。本实施例提供的一种基于激光三维扫描的缺陷识别装置，可包括：

信息获取模块21，所述信息获取模块主要由线结构激光器1和相机3构成，所述线结构激光器用于按照扫描顺序对待测物体4进行扫描，所述相机3用于获取待测物体4的图像，所述图像中具有所述线结构激光器的扫描光条2，如图2所示；其中，信息获取模块可得到的图片数据，、下层的点不仅为零值点，、还有离散的接近零值的点，这些点和零值点一样离待测平面所在的上层点云群很远。相对于待测平面点云，所以此类点均可视为零值点。

图像信息处理模块22，所述图像信息处理模块用于利用三点扫描测距的方法，对所述图像进行缺陷识别。本实施例中，所述对所述图像缺陷自动识别过程具体是依次对所述的图像进行零点消除处理、中值高斯滤波、基于二阶导数的特征描述以及提取，以及最小生成树缺陷识别。

本实例中，所述零点消除处理具体是将零值点的判定条件设置为一个范围，通过实验统计多个点云中点的Z坐标值分布情况。本发明设定的范围为点的Z坐标值在0～50的点，即Z坐标值小于50的点。另一方面上层待测物理图像点群中也有很多远离路面点群且Z坐标很大的离散点，这些点也是由于相机3扫描时的多种误差引起的非正常路面点，在进行后续处理时这些点也会与零值点一样造成处理的误差扩大，因此，也可将这类过于远离路面点云的点视为零值点一类的点，设定一个最大值用以标定这些过大的零值点。

本实例中，在限定了零值点这一类点的判定范围后，对零值点进行处理，首先需要统计在限定条件范围内的点，即通过遍历点云，依次判定每个点的Z坐标值，若其坐标值在限定条件范围内，则将该点加入零值点点云中，以记录原始点云中所有的零值点，下文暂称作零值点点云。在统计完点云中所有零值点即需要消除的点后，就需要扫描零值点点云，对每个零值点在原始点云中进行中值滤波。因此针对零值点采用中值滤波，就能利用零值周围正常路面点的Z坐标值的中间值来替换零值点的坐标值，同时根据路面点与点之间的相关性即最小单位下相邻点的Z坐标变化不会出现过大的变化，用这种相关性补全离散的少量的零值点，不仅能消除零值点在后续处理中可能出现的较大的误差影响，消除零值点后的点云中，还能因为点与点的相关性方便后续平滑等操作，改善数据质量采用以上零值点消除方法处理后的点云。

本实例中，所述中值高斯滤波包括中值滤波和高斯滤波，所述中值滤波是降低噪声的一种有效方法，其基本思路为：邻域原点从一个像素向另一个像素移动，对邻域中的像素应用算子T，并在该位置产生输出，这样，对于任意指定的位置(x,y)，输出图像g在这些坐标处的值就等于对f中以(x,y)为原点的邻域应用算子T的结果，算子T是采用排序的方式取邻域原点周围滤波窗口内的所有点排序后的中间值。所述高斯滤波具体是：首先初始化高斯算子T，通过公式式中的高斯核函数计算出标准方差为1大小为5*5的高斯核矩阵，再将邻域原点从一个点向另一个点移动，对邻域中的点应用高斯算子T，并在该点产生输出，这样，对于任意指定的点(x,y,z)，输出点在这些坐标处的Z坐标值就等于对f中以(x,y,z)为原点的邻域应用算子T的结果。其中高斯算子T具体为将高斯核矩阵与指定点及其周围与高斯核矩阵同样大小的领域匹配，计算矩阵与点云中对应位置上的Z坐标的坐标值的乘积，再对各个乘积结果作加和运算得到新的Z坐标值z’，用新的z’替换原有Z坐标值得到滤波后的新的点(x,y,z’)。

本实例中，所述最小生成树算法是指将缺陷点云看作一个无序图，用最小生成树算法连接缺陷点云中的点，由于缺陷点云主枝干上的点具有一定的连续性，所以最终得到的最小生成树的主干连接的必然是缺陷的主枝干，而边缘的伪缺陷点由于其局部性和不连续性，则会生成为最小生成树上短小的枝叶；将这些短小枝叶上的点从树上剪除即去除了伪缺陷点，剪除完成后得到的就是缺陷主干点，但其中可能仍然含有伪缺陷点。经过最小生成树算法处理的缺陷点云将尽可能地从中抽取缺陷主干得到缺陷轨迹。

本实施例中，所述缺陷识别包括待测物体4上有无缺陷，还可包括缺陷的位置、长度、大小以及深度信息的测量。

进一步地，所述缺陷的位置、长度、大小以及深度信息的测量方法，包括：基于结构光，利用相位信息进行三维重建，还原出待测物体4与扫描光条2的位置关系，利用解相位和展开相位的方法计算待测物体4上缺陷的位置、长度、大小以及深度信息。

具体的，所采集到的图片为RGB图片，即彩色图片。RGB图像可以被视为彼此堆叠的三个图像(红色分量图像、绿色分量图像和蓝色分量图像)。在MAT-LAB中，RGB图像基本上是M*N*3的彩色像素阵列，其中每个彩色像素是一个三维数组，它对应于指定空间位置处RGB图像的红色、蓝色和绿色分量，然而我们在对图像处理时并不是所有时候都用到RGB三个分量。因此在预处理时要尽量减少无用M*N*3的彩色像素阵列，其中每个彩色像素是一个三维数组，它对应于指定空间位置处RGB图像的红色、蓝色和绿色分量，然而我们在对图像处理时并不是所有时候都用到RGB三个分量。因此在预处理时要尽量减少无用数据图像灰度化处理可以使得处理速度变快。

在图像处理中，数字图像中不可避免的存在噪声，导致图像信息失真和丢失。由于存在噪声，可能会对随后的图像处理任务(图像特征提取，图像分析等)产生不利影响。在缺陷图像中我们能够发现缺陷与周围的环境非常相似，这给后续处理带来了很大的困扰，故本发明对图像中的有用信息进行，其目的是要改善缺陷与周围环境的对比度，本发明采用对比度拉伸法完成图像增强。边缘检测技术是指对二值化图片进行处理。

所述基于线结构光的三维视觉检测技术是激光视觉检测技术中常用的非接触测量技术，本发明通过线结构光激光器1产生一线状光条2，投射到被测物体表面，由于待测物体4与检测平台存在高度差，打到物体表面的光条2就会发生变形，利用相机3采集变形光条2图像，通过对图像中变形光条信息的分析，即可获得被测物体轮廓信息。当光条2投射到被测路面，由于路面缺陷的存在，光条2在缺陷处发生变形，通过对变形光条图像的分析，即可获得被测路面轮廓信号，进而提取路面三维信息。

本实施例中，还可包括：信息显示模块23，所述信息显示模块基于LCD显示屏幕实现用于显示缺陷识别结果。

本实施例中，还包括：待测平面图像显示模块24，所述待测平面显示模块基于LCD显示屏幕实现用于实时显示待测平面的实时图像。

图4是根据一示例性实施例示出的一种基于激光三维扫描的缺陷识别方法的流程图，本实施例还提供一种基于激光三维扫描的缺陷识别方法，包括：

步骤S101，通过线结构激光器按照扫描顺序对待测物体4进行扫描，通过相机3获取待测平面的图像，所述图像中具有所述线结构激光器的扫描光条2；

步骤S102，利用三点扫描测距的方法，对所述图像进行缺陷识别。

本实施例中，所述对所述图像进行缺陷识别，具体是对信息处理模块所获得的图像进行零点消除处理、中值高斯滤波、基于二阶导数的特征描述以及提取，以及最小生成树法的步骤实现对待测物体4参数识别。

本实施例中，所述缺陷识别可包括待测平面上有无缺陷以及缺陷的位置、长度、宽度以及深度信息。在本实例中，上述信息的具体测量方法是：所采集到的图片为RGB图片，即彩色图片。RGB图像可以被视为彼此堆叠的三个图像(红色分量图像、绿色分量图像和蓝色分量图像)，在对图像处理时并不是所有时候都用到RGB三个分量。因此在预处理时减少无用M*N*3的彩色像素阵列，其中每个彩色像素是一个三维数组，它对应于指定空间位置处RGB图像的红色、蓝色和绿色分量，然而我们在对图像处理时并不是所有时候都用到RGB三个分量。因此在预处理时要尽量减少无用数据图像灰度化处理可以使得处理速度变快。

最后，基于结构光三维视觉检测技术，利用预处理后得到的灰度化图像中的相位信息进行三维重建，还原出待测平面与扫描光条的位置关系，利用解相位和展开相位的方法得到待测物体4缺陷的大小、深度和长度信息。

本实例中，所述基于线结构光的三维视觉检测技术是激光视觉检测技术中常用的非接触测量技术，本发明通过线结构光激光器1产生一线状光条，投射到被测物体表面，由于待测物体4与检测平台存在高度差，打到物体表面的光条就会发生变形，利用相机3采集变形光条图像，通过对图像中变形光条信息的分析，即可获得被测物体轮廓信息。当光条投射到被测路面，由于路面缺陷的存在，光条在缺陷处发生变形，通过对变形光条图像的分析，即可获得被测路面轮廓信号，进而提取路面三维信息。

本实例中，所述解相位和展开相位的方法具体是，图3是根据一示例性实施例示出的一种基于激光三维扫描的缺陷识别装置的测量模型示意图，主要包含如图3中所示的光平面5和像平面6，包含世界坐标系(oxyz)即客观世界的绝对坐标系、相机坐标系(o’ x’ y’z’坐标系)、像平面坐标系(uv)，其中像平面坐标系与世界坐标系的空间关系为：

其中f_xf_y分别为相机在x、y方向上的焦距，v₀，u₀为摄像机原点在图像中的坐标，R为旋转矩阵，T为平移向量,由此可以计算出路面的实际三维世界坐标。

需要说明的是，为了提高识别精度，相机3优选高清相机，优选分辨率为1920*1080，当然不限于此。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的设备实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于激光三维扫描的缺陷识别装置，其特征在于，包括：

信息获取模块，所述信息获取模块主要由线结构激光器和相机构成，所述线结构激光器用于按照扫描顺序对待测物体进行扫描，所述相机用于获取待测物体的图像，所述图像中具有所述线结构激光器的扫描光条；

图像信息处理模块，所述图像信息处理模块用于利用三点扫描测距的方法，对所述图像进行缺陷识别。

2.根据权利要求1所述的一种基于激光三维扫描的缺陷识别装置，其特征在于，所述对所述图像进行缺陷识别，包括：

依次对所述的图像进行零点消除处理、中值高斯滤波、基于二阶导数的特征描述以及提取，以及最小生成树缺陷识别。

3.根据权利要求1所述的一种基于激光三维扫描的缺陷识别装置，其特征在于，所述缺陷识别包括待测物体上有无缺陷。

4.根据权利要求1所述的一种基于激光三维扫描的缺陷识别装置，其特征在于，所述缺陷识别还包括缺陷的位置、长度、大小以及深度信息的测量。

5.根据权利要求4所述的一种基于激光三维扫描的缺陷识别装置，其特征在于，所述缺陷的位置、长度、大小以及深度信息的测量方法，包括：

基于结构光，利用相位信息进行三维重建，还原出待测物体与扫描光条的位置关系，利用解相位和展开相位的方法计算待测物体上缺陷的位置、长度、大小以及深度信息。

6.根据权利要求1所述的一种基于激光三维扫描的缺陷识别装置，其特征在于，还包括：

信息显示模块，所述信息显示模块用于显示对待测物体进行缺陷识别结果。

7.根据权利要求1所述的一种基于激光三维扫描的缺陷识别装置，其特征在于，还包括：

待测物体图像显示模块，所述待测物体显示模块用于实时显示待测物体的实时图像。

8.一种基于激光三维扫描的缺陷识别方法，其特征在于，包括：

通过线结构激光器按照扫描顺序对待测物体进行扫描，通过相机获取待测物体的图像，所述图像中具有所述线结构激光器的扫描光条；

利用三点扫描测距的方法，对所述图像进行缺陷识别。

9.根据权利要求8所述的一种基于激光三维扫描的缺陷识别方法，其特征在于，所述对所述图像进行缺陷识别，具体是：依次对所述的图像进行零点消除处理、中值高斯滤波、基于二阶导数的特征描述以及提取，以及最小生成树缺陷识别。

10.根据权利要求8所述的一种基于激光三维扫描的缺陷识别方法，其特征在于，所述缺陷识别包括待测物体上有无缺陷；进一步还包括缺陷的位置、长度、大小以及深度信息的测量。

Images