CN113435420A - 一种路面病害尺寸检测方法、装置和存储介质 - Google Patents

Abstract

本发明涉及一种路面病害尺寸检测方法、装置和存储介质。该方法包括：获取通过车载相机采集的路面图像；使用主动式相机位姿标定方法获取车载相机的相机坐标系中的路面法线向量和路面基准点；根据路面法线向量获得以路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量；根据横轴单位向量、纵轴单位向量和预设的检测区域的尺寸参数，获得检测区域的四个角点在相机坐标系中的空间坐标；将空间坐标转换为像素坐标，并根据像素坐标在路面图像中确定由四个角点围成的四边形图像；根据四边形图像获得路面图像中病害区域的病害类型和病害边框；根据病害类型和病害边框获得病害尺寸。本发明的技术方案具备含病害尺寸在内的全面的巡查识别能力。

Description

一种路面病害尺寸检测方法、装置和存储介质

技术领域

本发明涉及智能交通技术领域，具体而言，涉及一种路面病害尺寸检测方法、装置和存储介质。

背景技术

路面病害主要包括裂缝、坑槽等，在路面使用一段时间后，可能出现相应的路面病害，其对行车安全和道路设施均造成了影响，因此，需要定期对路面病害进行检测。目前主要有人工巡查和车辆巡检的方式，以获得路面病害信息。病害信息包括病害类型、病害位置和病害尺寸等，其中，病害尺寸为后续的养护作业提供了主要的工程量参考。

人工巡查存在主观标准不统一、巡查效率低、人力成本高、工作督查考核难以及巡查人员安全风险大等问题。传统的道路巡检车通常搭载相机、激光雷达等复杂的专业设备用于精确测量，但是其成本昂贵，还需要使用行车道线进行辅助，难以用于高频巡检以及较低等级公路。

发明内容

针对现有技术的不足，本发明提出一种路面病害尺寸检测方法、装置和存储介质。

第一方面，本发明提供了一种路面病害尺寸检测方法，该方法包括：

获取通过车载相机采集的路面图像；

使用主动式相机位姿标定方法获取所述车载相机的相机坐标系中的路面法线向量和路面基准点；

根据所述路面法线向量获得以所述路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量；

根据所述横轴单位向量、所述纵轴单位向量和预设的检测区域的尺寸参数，获得所述检测区域的四个角点在所述相机坐标系中的空间坐标；

将所述空间坐标转换为像素坐标，并根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形图像；

根据所述四边形图像获得所述路面图像中病害区域的病害类型和病害边框，其中，所述病害边框为所述病害区域的最小外接矩形；

根据所述病害类型和所述病害边框获得病害尺寸。

第二方面，本发明提供了一种路面病害尺寸检测装置，该装置包括：

获取模块，用于获取通过车载相机采集的路面图像；

第一处理模块，用于使用主动式相机位姿标定方法获取所述车载相机的相机坐标系中路面法线向量和路面基准点；

第二处理模块，用于根据所述路面法线向量获得以所述路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量；并根据所述横轴单位向量、所述纵轴单位向量和预设的检测区域的尺寸参数，获得所述检测区域的四个角点在所述相机坐标系中的空间坐标；

第三处理模块，用于将所述空间坐标转换为像素坐标；并根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形图像；

第四处理模块，用于根据所述四边形图像获得所述路面图像中病害区域的病害类型和病害边框，其中，所述病害边框为所述病害区域的最小外接矩形；并根据所述病害类型和所述病害边框获得病害尺寸。

第三方面，本发明提供了一种路面病害尺寸检测装置，该装置包括存储有计算机程序的计算机可读存储介质和处理器，当所述计算机程序被所述处理器读取并运行时，实现如上所述的路面病害尺寸检测方法。

第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器读取并运行时，实现如上所述的路面病害尺寸检测方法。

本发明的路面病害尺寸检测方法、装置和存储介质的有益效果是，车辆仅需配备相机等必要设备便可对路面进行病害巡检，可以进行轻量化巡检，借助例如散水车、清扫车便可完成，实现成本较低。另外，并不需要依赖外部标识，例如行车线等，从而可以适用于各种道路，使其具备含病害尺寸在内的全面的巡查识别能力，提高病害检测的及时性，为及时养护提供数据参考。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的路面病害尺寸检测方法的流程示意图；

图2为本发明实施例的检测区域的尺寸参数的示意图；

图3为本发明实施例的路面病害尺寸检测装置的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例的一种路面病害尺寸检测方法，该方法包括如下步骤：

获取通过车载相机采集的路面图像。

具体地，可在车辆上安装相机，并通过相机采集路面图像，进而从中提取路面病害的相关信息。

使用主动式相机位姿标定方法获取所述车载相机的相机坐标系中的路面法线向量和路面基准点。

具体地，主动式相机位姿标定方法是相对被动式方法而言的，其中，被动式方法通常是在路面设置固定的标识，但是这样并不适用于长距离路面。而主动式方法则可通过例如车载激光器向路面发射激光标识，并由车载相机采集包括激光标识的路面图像进行进一步处理，不受限于路面长度和类型，具有更强的适应性。

根据所述路面法线向量获得以所述路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量。

具体地，路面基准点相当于通过计算获得的路面上的一个点，路面法线向量则相当于垂直于上述计算获得的路面的一个单位向量，可以用于对相机的位姿标定。在计算获得上述路面后，可以路面基准点作为原点建立路面坐标系，其横轴单位向量和纵轴单位向量可根据路面法线向量计算得到。

根据所述横轴单位向量、所述纵轴单位向量和预设的检测区域的尺寸参数，获得所述检测区域的四个角点在所述相机坐标系中的空间坐标。

具体地，检测区域可以是预设的，通常将其设定为具有相应尺寸参数的矩形，也就是具有四个角点。在确定了横轴单位向量、纵轴单位向量以及设定了检测区域的尺寸参数后，可进一步计算得到四个角点在相机坐标系中的空间坐标。

将所述空间坐标转换为像素坐标，并根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形图像。

具体地，由于空间坐标为三维坐标，首先将其转换为二维形式的像素坐标，然后根据四个角点对应的二维坐标在路面图像上确定一个四边形图像。

根据所述四边形图像获得所述路面图像中病害区域的病害类型和病害边框，其中，所述病害边框为所述病害区域的最小外接矩形。

具体地，可通过例如目标检测算法或语义分割算法等对所述四边形图像进行信息提取，以获得其中病害区域的相关信息，例如病害类型和病害边框等。病害类型可指示病害为裂缝或坑槽等，病害边框是指将病害区域包围的矩形边界，也就是最小外接矩形。

根据所述病害类型和所述病害边框获得病害尺寸。

具体地，不同的病害类型所对应的所需尺寸有所差别，例如对于裂缝通常仅需获得其长度，而对于坑槽则需要获得其面积。通过病害边框和其他参数可以获得相应病害尺寸。

在本实施例中，车辆仅需配备相机等必要设备便可对路面进行病害巡检，可以进行轻量化巡检，借助例如散水车、清扫车便可完成，实现成本较低。另外，并不需要依赖外部标识，例如行车线等，从而可以适用于各种道路，使其具备含病害尺寸在内的全面的巡查识别能力，提高病害检测的及时性，为及时养护提供数据参考。

可选地，所述获取通过车载相机采集的路面图像包括：

获取以倾斜视角进行拍摄的所述车载相机的原始图像。

对所述原始图像进行修正，将得到的修正图像作为所述路面图像。

具体地，在以倾斜视角进行拍摄的车载相机的原始图像中，矩形物品通常呈类似梯形，可通过预先标定好的相机内参和畸变参数修正原始图像。

在本实施例中，车载相机的投射视角不需要垂直于路面，也就是正俯视拍摄，而是可以采用倾斜视角。这样视野更大，采集的路面图像中路面的范围也更大，可有效提高效率，高效而全面地获得路面病害信息。

可选地，所述根据所述路面法线向量获得以所述路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量包括：

根据第一公式确定所述横轴单位向量和所述纵轴单位向量，所述第一公式包括：

Y=(0,y2,y3)；

；

；

X=N×Y；

其中，X表示所述横轴单位向量，Y表示所述纵轴单位向量，N=(n1,n2,n3)表示所述路面法线向量。

在本实施例中，首先获得路面法线向量和路面基准点，相应地，也可获得计算得到的路面，以此路面为平面，并以路面基准点为原点，可构建相应路面坐标系，并计算获得其横轴单位向量和纵轴单位向量。不需要借助例如激光雷达的采集信息，不仅实现成本较低，且有利于轻量化巡检。

可选地，所述根据所述横轴单位向量、所述纵轴单位向量和预设的检测区域的尺寸参数，获得所述检测区域的四个角点在所述相机坐标系中的空间坐标包括：

根据第二公式确定四个所述角点的所述空间坐标，所述第二公式包括：

；

；

；

；

其中，C _rd 、C _ru 、C _lu 、C _ld 分别表示位于右下方位、右上方位、左上方位、左下方位的所述角点的所述空间坐标，O表示所述路面基准点的坐标，h和w分别表示所述检测区域的长和宽，x、y和α分别表示所述检测区域的中心点相对于所述路面基准点的横向平移量、纵向平移量和旋转角。

在本实施例中，如图2所示，由于车载相机以倾斜视角进行拍摄，路面图像中实际为矩形的特征并不呈现为矩形，而横轴单位向量和纵轴单位向量则沿路面图像中的横向、纵向设置，但并非实际路面上的横向和纵向。此时，首先可以设置一个具有长h、宽w、横向平移量x、纵向平移量y和旋转角α等尺寸参数的矩形检测区域，使其能够覆盖常见的路面病害，且其沿实际路面上的横向和纵向设置，然后借助路面坐标系的横轴单位向量和纵轴单位向量将其映射至路面图像上。这样可以准确框选路面病害区域，并且不依赖行外部标识，可适用于各种类型和等级的道路。

可选地，所述将所述空间坐标转换为像素坐标包括：

根据第三公式确定所述像素坐标，所述第三公式包括：

；

；

其中，I表示所述像素坐标，C表示所述空间坐标，K表示所述车载相机的内参矩阵，

。

在本实施例中，由于空间坐标为三维坐标，故需要先将其转换为二维形式的像素坐标。其中，

为一个中间参数，C为上述C _rd 、C _ru 、C _lu 、C _ld 的统称。

可选地，所述根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形图像包括：

根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形区域。

将所述四边形区域裁剪并拉伸为标定长宽的矩形图像，作为所述四边形图像。

在本实施例中，如图2所示，图中四个角点C _rd 、C _ru 、C _lu 、C _ld 合围形成的区域即为上述四边形区域，其覆盖了路面病害区域。但是，此时的四边形区域并不呈现为矩形，而是接近梯形，故首先将该区域从路面图像中裁剪出来，然后基于近大远小的原理对远处进行拉伸，并可将其等比例缩放至一定尺寸，最终形成与实际路面相符的矩形图像。这样，便可获得覆盖路面病害区域的矩形图像，并且不依赖行车道线进行正俯视转换，适用于城乡各级道路。

可选地，所述根据所述病害类型和所述病害边框获得病害尺寸包括：

当所述病害类型为线状裂缝时，根据第四公式确定所述线状裂缝的长度，所述第四公式包括：

；

其中，L表示所述线状裂缝的长度，a和b分别表示所述矩形图像的长和宽，bx和by分别表示所述病害边框的长和宽。

当所述病害类型为面状坑槽时，根据第五公式确定所述面状坑槽的面积，所述第五公式包括：

；

其中，A表示所述面状坑槽的面积。

在本实施例中，无论是线状裂缝，还是面状坑槽，通过设定的检测区域的尺寸参数以及计算过程中获得的矩形图像尺寸和病害边框尺寸，便可获得病害对应的尺寸。具备含病害尺寸在内的全面的巡查识别能力，提高病害检测的及时性，为及时养护提供数据参考。

可选地，所述主动式相机位姿标定方法包括如下步骤：

通过至少三个车载激光器向路面发射激光，并通过与各所述车载激光器连接的车载相机采集路面图像，其中，所述路面图像包括各所述车载激光器投射至所述路面的激光点。

获取所述路面图像中各所述激光点对应的图像像素坐标。

根据所述图像像素坐标获得所述车载相机的光心到各所述激光点的射线向量。

基于射线求交，根据单位投射向量和所述射线向量获得所述路面上的所述激光点的像素坐标，其中，所述单位投射向量为所述车载激光器在所述车载相机的相机坐标系下的投射向量。

根据所述像素坐标获得路面法线向量，并根据所述像素坐标和所述路面法线向量获得路面基准点。

其中，所述根据所述图像像素坐标获得所述车载相机的光心到各所述激光点的射线向量包括：

根据如下公式确定所述射线向量：

；

其中，D表示所述射线向量，K表示所述车载相机的内参矩阵，

，u、v表示所述激光点对应的所述图像像素坐标。

其中，所述基于射线求交，根据单位投射向量和所述射线向量获得所述路面上的所述激光点的像素坐标包括：

根据如下公式确定所述像素坐标：

；

；

其中，O表示所述像素坐标，C表示所述车载激光器在所述车载相机的相机坐标系下的坐标，R表示所述单位投射向量。

其中，所述车载激光器的数量为三个且沿逆时针方向设置；所述根据所述像素坐标获得路面法线向量包括：

根据如下公式确定所述路面法线向量：

；

其中，N表示所述路面法线向量，O ₁、O ₂、O ₃分别表示三个所述车载激光器发射至所述路面上的所述激光点的所述像素坐标。

其中，所述根据所述像素坐标和所述路面法线向量获得路面基准点包括：

根据如下公式确定所述路面基准点：

；

；

其中，O ₀表示所述路面基准点，

，

，换言之，o ₁₁、o ₁₂和o ₁₃分别表示O ₁的三个坐标，n ₁、n ₂和n ₃分别表示N的三个坐标。

如图3所示，本发明实施例的一种路面病害尺寸检测装置包括：

获取模块，用于获取通过车载相机采集的路面图像；

第一处理模块，用于使用主动式相机位姿标定方法获取所述车载相机的相机坐标系中路面法线向量和路面基准点；

第二处理模块，用于根据所述路面法线向量获得以所述路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量；并根据所述横轴单位向量、所述纵轴单位向量和预设的检测区域的尺寸参数，获得所述检测区域的四个角点在所述相机坐标系中的空间坐标；

第三处理模块，用于将所述空间坐标转换为像素坐标；并根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形图像；

第四处理模块，用于根据所述四边形图像获得所述路面图像中病害区域的病害类型和病害边框，其中，所述病害边框为所述病害区域的最小外接矩形；并根据所述病害类型和所述病害边框获得病害尺寸。

在本发明另一实施例中，一种路面病害尺寸检测装置包括存储有计算机程序的计算机可读存储介质和处理器，当所述计算机程序被所述处理器读取并运行时，实现如上所述的路面病害尺寸检测方法。

需要注意的是，该装置可以为车载服务器或远程服务器等计算机装置。

在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器读取并运行时，实现如上所述的路面病害尺寸检测方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种路面病害尺寸检测方法，其特征在于，包括：

获取通过车载相机采集的路面图像；

使用主动式相机位姿标定方法获取所述车载相机的相机坐标系中的路面法线向量和路面基准点；

根据所述路面法线向量获得以所述路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量；

根据所述横轴单位向量、所述纵轴单位向量和预设的检测区域的尺寸参数，获得所述检测区域的四个角点在所述相机坐标系中的空间坐标；

将所述空间坐标转换为像素坐标，并根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形图像；

根据所述四边形图像获得所述路面图像中病害区域的病害类型和病害边框，其中，所述病害边框为所述病害区域的最小外接矩形；

根据所述病害类型和所述病害边框获得病害尺寸。

2.根据权利要求1所述的路面病害尺寸检测方法，其特征在于，所述获取通过车载相机采集的路面图像包括：

获取以倾斜视角进行拍摄的所述车载相机的原始图像；

对所述原始图像进行修正，将得到的修正图像作为所述路面图像。

3.根据权利要求1所述的路面病害尺寸检测方法，其特征在于，所述根据所述路面法线向量获得以所述路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量包括：

根据第一公式确定所述横轴单位向量和所述纵轴单位向量，所述第一公式包括：

Y=(0,y2,y3)；

；

；

X=N×Y；

其中，X表示所述横轴单位向量，Y表示所述纵轴单位向量，N=(n1,n2,n3)表示所述路面法线向量。

4.根据权利要求3所述的路面病害尺寸检测方法，其特征在于，所述根据所述横轴单位向量、所述纵轴单位向量和预设的检测区域的尺寸参数，获得所述检测区域的四个角点在所述相机坐标系中的空间坐标包括：

根据第二公式确定四个所述角点的所述空间坐标，所述第二公式包括：

；

；

；

；

其中，C _rd 、C _ru 、C _lu 、C _ld 分别表示位于右下方位、右上方位、左上方位、左下方位的所述角点的所述空间坐标，O表示所述路面基准点的坐标，h和w分别表示所述检测区域的长和宽，x、y和α分别表示所述检测区域的中心点相对于所述路面基准点的横向平移量、纵向平移量和旋转角。

5.根据权利要求4所述的路面病害尺寸检测方法，其特征在于，所述将所述空间坐标转换为像素坐标包括：

根据第三公式确定所述像素坐标，所述第三公式包括：

；

；

其中，I表示所述像素坐标，C表示所述空间坐标，K表示所述车载相机的内参矩阵，

。

6.根据权利要求4所述的路面病害尺寸检测方法，其特征在于，所述根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形图像包括：

根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形区域；

将所述四边形区域裁剪并拉伸为标定长宽的矩形图像，作为所述四边形图像。

7.根据权利要求6所述的路面病害尺寸检测方法，其特征在于，所述根据所述病害类型和所述病害边框获得病害尺寸包括：

当所述病害类型为线状裂缝时，根据第四公式确定所述线状裂缝的长度，所述第四公式包括：

；

其中，L表示所述线状裂缝的长度，a和b分别表示所述矩形图像的长和宽，bx和by分别表示所述病害边框的长和宽；

当所述病害类型为面状坑槽时，根据第五公式确定所述面状坑槽的面积，所述第五公式包括：

；

其中，A表示所述面状坑槽的面积。

8.一种路面病害尺寸检测装置，其特征在于，包括：

获取模块，用于获取通过车载相机采集的路面图像；

第一处理模块，用于使用主动式相机位姿标定方法获取所述车载相机的相机坐标系中路面法线向量和路面基准点；

第二处理模块，用于根据所述路面法线向量获得以所述路面基准点为原点的路面坐标系的横轴单位向量和纵轴单位向量；并根据所述横轴单位向量、所述纵轴单位向量和预设的检测区域的尺寸参数，获得所述检测区域的四个角点在所述相机坐标系中的空间坐标；

第三处理模块，用于将所述空间坐标转换为像素坐标；并根据所述像素坐标在所述路面图像中确定由四个所述角点围成的四边形图像；

第四处理模块，用于根据所述四边形图像获得所述路面图像中病害区域的病害类型和病害边框，其中，所述病害边框为所述病害区域的最小外接矩形；并根据所述病害类型和所述病害边框获得病害尺寸。

9.一种路面病害尺寸检测装置，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，当所述计算机程序被所述处理器读取并运行时，实现如权利要求1至7任一项所述的路面病害尺寸检测方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器读取并运行时，实现如权利要求1至7任一项所述的路面病害尺寸检测方法。

Images