CN114519732A - 一种基于红外双目结构光的道路检测方法与系统 - Google Patents

Abstract

本发明涉及道路检测与养护领域，具体公开了一种基于红外双目结构光的道路检测方法与系统，所述系统包括数据采集模块，用于基于双目结构光3D成像技术的深度相机，同步采集路面的RGB图像和点云图像，生成场景信息数据；控制处理模块，用于从所述场景信息数据中识别并标记车辙和拥包，识别出路面所在区域，并提取出对应的点云数据，基于三维点云目标检测算法，识别路面点云中的车辙和拥包，获取尺寸数据；数据存储模块，用于将识别到的车辙数据和拥包数据上传到云端服务器，存储于数据库中。本发明提到的方法和系统可让维修人员快速、及时定位可能要不同损害程度的车辙、避免围封交通式巡查检测，保障道路的通行能力，提高行车安全。

Description

一种基于红外双目结构光的道路检测方法与系统

技术领域

本发明涉及道路检测与养护领域，具体是一种基于红外双目结构光的道路检测方法与系统。

背景技术

车辙、拥包是路面周期性评价及路面养护中的一个重要指标，路面车辙深度、拥包高度直接反映了车辆行驶的舒适度及路面的安全性和使用期限。路面车辙、拥包的检测能为决策者提供重要的信息，使决策者能为路面的维修、养护及翻修等作出优化决策。路面车辙、拥抱检测方法主要包括人工检测和自动检测两类。人工检测通常用检测横竿横跨在车辙、拥包上部，用尺量出横竿与车辙底部、拥包顶部的间距。自动检测方法利用横向布置的一排激光、超声、红外或其它非接触式位移传感器来快速连续测定路面车辙深度、拥包高度。这些方法适用于已知车辙、拥包的发生位置，对其损害程度进行测量，而无法用于长距离、大范围的车辙、拥包识别工作。

发明内容

本发明的目的在于提供一种基于红外双目结构光的道路检测方法与系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于红外双目结构光的道路检测系统，所述系统包括：

数据采集模块，用于基于双目结构光3D成像技术的深度相机，同步采集路面的RGB图像和点云图像，生成场景信息数据；

控制处理模块，用于从所述场景信息数据中识别并标记车辙和拥包，采用语义分割算法对RGB图像进行分割，识别出路面所在区域，并提取出对应的点云数据，基于三维点云目标检测算法，识别路面点云中是否存在车辙和拥包，获取所述车辙和拥包的尺寸数据；

数据存储模块，用于将识别到的车辙数据和拥包数据上传到云端服务器，存储于数据库中，并实时推送至可视化平台及业务系统。

作为本发明技术方案的进一步限定，所述基于双目结构光3D成像技术的相机为面阵相机，包含深度相机、红外相机、彩色相机；其中，各相机均内置GPS系统。

作为本发明技术方案的进一步限定，所述基于双目结构光3D成像技术的深度相机通过固定支架安装于车身外部。

作为本发明技术方案的进一步限定，所述控制处理模块包括微型处理器，所述微型处理器基于预先训练好的神经网络算法，对所采集的场景信息进行快速计算。

作为本发明技术方案的进一步限定，所述控制处理模块包括显示器，用于显示所述相机采集的图像信息，显示所述控制处理模块的所检测的车辙和拥包在地图上的位置。

作为本发明技术方案的进一步限定，所述数据存储模块与互联网连接，将数据实时上传至云端服务器。

本发明技术方案还提供了一种基于红外双目结构光的道路检测方法，所述方法包括：

基于深度相机和彩色相机同步采集道路场景信息；

获取采集相机的位置数据，根据所述位置数据解算相机的运动参数，根据所述运动参数调节相机采集频率；

基于训练好的第一神经网络模型对彩色相机采集到的道路场景信息进行计算，得到路面所在区域，并提取出对应的点云；

基于训练好的第二神经网络模型对道路点云进行计算，判断车辙和拥包是否存在，当所述车辙和拥包存在时，获取车辙和拥包的点云块；

基于点云块计算车辙的平面尺寸和高差，计算拥包的平面尺寸和高差，根据逆编码计算车辙和拥包在地图上的坐标位置；

将车辙和拥包的坐标位置、采集时间、高差、尺寸以及图像信息上传至云端服务器。

作为本发明技术方案的进一步限定，第一神经网络模型和第二神经网络模型的训练步骤包括：

预先采集RGB图像和对应的深度图像；

基于人工标记的方式识别道路区域，构造训练集，搭建深度卷积神经网络，训练对RGB图像进行分割的第一神经网络模型，筛选出所有道路区域的点云数据；

基于人工标记的方式识别车辙和拥包所在区域，构造训练集，搭建深度卷积神经网络，训练出基于点云图像检测车辙和拥包所在点云块的第二神经网络模型。

与现有技术相比，本发明的有益效果是：本发明依托高频次的巡查及高精度定位，实现对路面车辙、拥包进行长期的跟踪。一方面在日常巡查中准确检测车辙、拥包的存在，将车辙、拥包的位置、尺寸、高差等信息实时提供给养护接管单位，有助于合理安排维修作业，提升道路安全水平。另一方面，长期检测能用于评估车辙、拥包维修后是否再次出现病害，方便维修人员评估车辙、拥包维修措施是否合理。本发明提到的方法和系统主要依赖于红外双目结构光相机、智能化算法和轻量化传感设备，设备成本低，在现有日常巡查的基础上投入少量设备费用，即可对路面车辙、拥包进行评估，可节省专项检测的相关费用，并大幅度提高巡查频次，提升检测的可靠性。本发明提到的方法和系统可让维修人员快速、及时定位可能要不同损害程度的车辙、避免围封交通式巡查检测，保障道路的通行能力，提高行车安全。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1为基于红外双目结构光的道路检测系统的组成结构框图。

图2为基于红外双目结构光的道路检测系统的架构图。

图3为基于红外双目结构光的道路检测方法的流程框图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

图1示出了基于红外双目结构光的道路检测系统的组成结构框图，本发明实施例中，一种基于红外双目结构光的道路检测系统，所述系统10包括：

数据采集模块11，用于基于双目结构光3D成像技术的深度相机，同步采集路面的RGB图像和点云图像，生成场景信息数据；

控制处理模块12，用于从所述场景信息数据中识别并标记车辙和拥包，采用语义分割算法对RGB图像进行分割，识别出路面所在区域，并提取出对应的点云数据，基于三维点云目标检测算法，识别路面点云中是否存在车辙和拥包，获取所述车辙和拥包的尺寸数据；

数据存储模块13，用于将识别到的车辙数据和拥包数据上传到云端服务器，存储于数据库中，并实时推送至可视化平台及业务系统。

数据采集模块11用于完成数据获取过程，控制处理模块12是本发明技术方案的数据处理过程，数据存储模块11一方面对获取到的数据和处理过的数据进行存储，另一方面与云端相连，并将存储到的数据向云端发送。

图2示出了基于红外双目结构光的道路检测系统的架构图，在本发明技术方案的一个实例中，本发明技术方案包括摄像装置、处理器和存储器；

其中，摄像装置用于获取路面图像信息；处理器，连接至摄像装置，用于根据预先训练的算法从图像信息中检测车辙、拥包；存储器，用于将检测的相关数据存储到云端服务器；其中，摄像装置同步采集以下信息：路面RGB图像和点云图像；处理器采用深度神经网络算法，融合路面RGB图像和点云数据，对车辙、拥包进行检测。

摄像装置利用同步采集路面RGB图像和点云图像的方式可以包括很多种，在可选实施例中，指定的摄像装置可以是红外双目结构光相机。

摄像装置的作用在于获取路面图像信息，只要可以拍摄到路面图像信息，摄像装置可以安装于车辆的多个位置，在一个可选的实施例中，摄像装置可以安装于车辆引擎盖前段前端中间位置，相机距离地面高度约为1米，相机视线中心线与水平面的夹角约为45-75°。

摄像装置连接至处理器，将采集的数据传输给处理器，在一个可选实施例中，处理器还可以包括显示装置，用于显示路面的RGB图像信息和点云信息。

处理器，可以包含有GPU处理单元，神经网络程序可借助GPU处理单元实现预测加速。

处理器连接至互联网，在一个可选实施例中，处理器有4G/5G移动互联网模块，有高精度定位模块，有相应的采集软件，给摄像装置发送指令采集执行拍摄，不间断地接收、解析摄像装置采集的数据。

具体的，使用该基于红外双目结构光对车辙、拥包检测系统进行道路车辙、拥包检测对步骤如下：

根据需要分析对目标选定检测路线。

设备安装和检测开始。

请参阅图2，把红外双目结构光相机用吸附式支座吸附在车辆前方引擎盖中央，处理器置于车内固定位置，通过USB数据线将红外双目结构光相机连接至处理器，通过电源线将处理器连接至车辆点烟器，保持处理器充电状态。启动处理器和红外双目结构光相机。

驾驶员安装安全对驾驶速度完成规定路线，摄像采集结束，采集的数据暂时存储在处理器对内存中。

运行处理器，利用预先设定的算法自动对采集到的图像数据进行分析，保留检测到的车辙、拥包相关数据。

点击数据上传云端按钮，车辙、拥包数据备份到云端数据库。

通过上述车辙、拥包检测系统，在车辆中安装摄像装置和处理器，处理器连接至互联网，就可以获取道路路面图像信息进行分析，从而检测出车辙、拥包的发生位置。相比于传统的人工检测方法，本实施例解决了现有技术中车辙、拥包检测操作效率低、信息不同步、检测费用高昂等问题，本实施例不仅大幅降低了车辙、拥包等检测成本，而且提升了检测等有效性和准确性。

本发明技术方案利用红外双目结构光采集道路路面图像，结合预训练的神经算法对图像进行快速、准确地分析，然后将检测结果上传到云端服务器。在日常巡查中，巡查车辆只需要启动系统，在安全车速行驶的条件下，即可对所经过的道路进行评估。本发明提到的系统无需人员进行专项操作，巡查员只需专注于驾驶即可，相较于人工徒步巡查，规避了巡查人员的安全风险。同时，本专利提到的方法和系统，弥补了人工检测可能出现的误判、漏判，更为客观，可有效运用大范围、长距离的道路车辙、拥包检测作业任务。

进一步的，所述基于双目结构光3D成像技术的相机为面阵相机，包含深度相机、红外相机、彩色相机；其中，各相机均内置GPS系统。

具体的，所述基于双目结构光3D成像技术的深度相机通过固定支架安装于车身外部。

作为本发明技术方案的一个优选实施例，所述控制处理模块包括微型处理器，所述微型处理器基于预先训练好的神经网络算法，对所采集的场景信息进行快速计算。

进一步的，所述控制处理模块包括显示器，用于显示所述相机采集的图像信息，显示所述控制处理模块的所检测的车辙和拥包在地图上的位置。

作为本发明技术方案的一个优选实施例，所述数据存储模块与互联网连接，将数据实时上传至云端服务器。

实施例2

图3为基于红外双目结构光的道路检测方法的流程框图，本发明实施例中，一种基于红外双目结构光的道路检测系统，所述方法包括：

基于深度相机和彩色相机同步采集道路场景信息；

获取采集相机的位置数据，根据所述位置数据解算相机的运动参数，根据所述运动参数调节相机采集频率；

基于训练好的第一神经网络模型对彩色相机采集到的道路场景信息进行计算，得到路面所在区域，并提取出对应的点云；

基于训练好的第二神经网络模型对道路点云进行计算，判断车辙和拥包是否存在，当所述车辙和拥包存在时，获取车辙和拥包的点云块；

基于点云块计算车辙的平面尺寸和高差，计算拥包的平面尺寸和高差，根据逆编码计算车辙和拥包在地图上的坐标位置；

将车辙和拥包的坐标位置、采集时间、高差、尺寸以及图像信息上传至云端服务器。

进一步的，第一神经网络模型和第二神经网络模型的训练步骤包括：

预先采集RGB图像和对应的深度图像；

基于人工标记的方式识别道路区域，构造训练集，搭建深度卷积神经网络，训练对RGB图像进行分割的第一神经网络模型，筛选出所有道路区域的点云数据；

基于人工标记的方式识别车辙和拥包所在区域，构造训练集，搭建深度卷积神经网络，训练出基于点云图像检测车辙和拥包所在点云块的第二神经网络模型。

使用深度相机和彩色相机同步采集道路场景信息；

使用高精度GPS采集相机的在当前坐标系中的坐标（x0,y0,z0）、时间t，解算相机物理运动距离s，以固定的s为参照控制相机采集频率；

预先采集大量的RGB图像和对应的深度图像对神经网络进行训练。采用人工标记的方式识别道路区域，构造训练集，搭建深度卷积神经网络，训练对RGB图像进行分割的神经网络模型ML1；筛选出所有道路区域的点云数据，采用人工标记的方式识别车辙、拥包所在区域，构造训练集，搭建深度卷积神经网络，训练出基于点云图像检测车辙、拥包所在点云块的神经网络模型ML2。

使用ML1对所采集的RGB图像进行快速计算，得到路面所在区域，并提取出对应的点云；使用ML2对道路点云进行快速计算，识别车辙、拥包是否存在，得到车辙、拥包的点云块。

使用点云块计算车辙、拥包的平面尺寸、高差，采用逆编码计算车辙、拥包在地图上的坐标位置（x1,y1,z1）；

将车辙、拥包的坐标位置、采集时间、高差、尺寸以及图像信息上传至云端服务器，推送至轻量化的业务平台，随时随地查看最新检测结果。

本发明基于红外双目结构光的车辙、拥包流程是自动执行的，对上述内容的总结如下：

处理器读入采集的路面RGB图像、点云图像数据。

采用内置的图像分割神经网络算法对所采集的RGB图像进行快速计算，得到分割图像。

基于分割图像，提出去路面所在区域的三维点云。使用内置的三维点云检测算法对道路三维点云进行快速计算，得到车辙、拥包的点云块。如果当三维点云图像中没有车辙、拥包，跳转到下一站图像。

基于点云块，计算车辙、拥包的平面尺寸、高差，采用逆编码计算车辙、拥包在地图上的坐标位置（x1,y1,z1）；

将车辙、拥包的坐标位置、采集时间、高差、尺寸以及图像信息上传至云端服务器，推送至轻量化的业务平台，随时随地查看最新检测结果。

所述基于红外双目结构光的道路检测方法所能实现的功能均由计算机设备完成，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述程序代码由所述一个或多个处理器加载并执行以实现所述基于红外双目结构光的道路检测方法的功能。

处理器从存储器中逐条取出指令、分析指令，然后根据指令要求完成相应操作，产生一系列控制命令，使计算机各部分自动、连续并协调动作，成为一个有机的整体，实现程序的输入、数据的输入以及运算并输出结果，这一过程中产生的算术运算或逻辑运算均由运算器完成；所述存储器包括只读存储器（Read-Only Memory，ROM），所述只读存储器用于存储计算机程序，所述存储器外部设有保护装置。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在终端设备中的执行过程。

本领域技术人员可以理解，上述服务设备的描述仅仅是示例，并不构成对终端设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，上述处理器是上述终端设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

上述存储器可用于存储计算机程序和/或模块，上述处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现上述终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如信息采集模板展示功能、产品信息发布功能等）等；存储数据区可存储根据泊位状态显示系统的使用所创建的数据（比如不同产品种类对应的产品信息采集模板、不同产品提供方需要发布的产品信息等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card， SMC），安全数字（Secure Digital， SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例系统中的全部或部分模块/单元，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个系统实施例的功能。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random AccessMemory）、电载波信号、电信信号以及软件分发介质等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于红外双目结构光的道路检测系统，其特征在于，所述系统包括：

数据采集模块，用于基于双目结构光3D成像技术的深度相机，同步采集路面的RGB图像和点云图像，生成场景信息数据；

控制处理模块，用于从所述场景信息数据中识别并标记车辙和拥包，采用语义分割算法对RGB图像进行分割，识别出路面所在区域，并提取出对应的点云数据，基于三维点云目标检测算法，识别路面点云中是否存在车辙和拥包，获取所述车辙和拥包的尺寸数据；

数据存储模块，用于将识别到的车辙数据和拥包数据上传到云端服务器，存储于数据库中，并实时推送至可视化平台及业务系统。

2.根据权利要求1所述的基于红外双目结构光的道路检测系统，其特征在于，所述基于双目结构光3D成像技术的相机为面阵相机，包含深度相机、红外相机、彩色相机；其中，各相机均内置GPS系统。

3.根据权利要求1所述的基于红外双目结构光的道路检测系统，其特征在于，所述基于双目结构光3D成像技术的深度相机通过固定支架安装于车身外部。

4.根据权利要求1所述的基于红外双目结构光的道路检测系统，其特征在于，所述控制处理模块包括微型处理器，所述微型处理器基于预先训练好的神经网络算法，对所采集的场景信息进行快速计算。

5.根据权利要求1所述的基于红外双目结构光的道路检测系统，其特征在于，所述控制处理模块包括显示器，用于显示所述相机采集的图像信息，显示所述控制处理模块的所检测的车辙和拥包在地图上的位置。

6.根据权利要求1所述的基于红外双目结构光的道路检测系统，其特征在于，所述数据存储模块与互联网连接，将数据实时上传至云端服务器。

7.一种基于红外双目结构光的道路检测方法，其特征在于，所述方法包括：

基于深度相机和彩色相机同步采集道路场景信息；

获取采集相机的位置数据，根据所述位置数据解算相机的运动参数，根据所述运动参数调节相机采集频率；

基于训练好的第一神经网络模型对彩色相机采集到的道路场景信息进行计算，得到路面所在区域，并提取出对应的点云；

基于训练好的第二神经网络模型对道路点云进行计算，判断车辙和拥包是否存在，当所述车辙和拥包存在时，获取车辙和拥包的点云块；

基于点云块计算车辙的平面尺寸和高差，计算拥包的平面尺寸和高差，根据逆编码计算车辙和拥包在地图上的坐标位置；

将车辙和拥包的坐标位置、采集时间、高差、尺寸以及图像信息上传至云端服务器。

8.根据权利要求7所述的基于红外双目结构光的道路检测方法与系统，其特征在于，第一神经网络模型和第二神经网络模型的训练步骤包括：

预先采集RGB图像和对应的深度图像；

基于人工标记的方式识别道路区域，构造训练集，搭建深度卷积神经网络，训练对RGB图像进行分割的第一神经网络模型，筛选出所有道路区域的点云数据；

基于人工标记的方式识别车辙和拥包所在区域，构造训练集，搭建深度卷积神经网络，训练出基于点云图像检测车辙和拥包所在点云块的第二神经网络模型。

Images