CN117853904A - 道路病害检测方法、装置、设备、介质及系统 - Google Patents

Abstract

本申请提供一种道路病害检测方法、装置、设备、介质及系统，涉及道路检测领域，该方法包括：基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率，并获取基于曝光频率所采集的道路图像；根据道路图像对目标道路进行病害检测识别，道路病害检测结果包括病害类型和病害位置；基于第一高精地图数据构建道路三维地理场景，并将道路病害检测结果叠加至道路三维地理场景中，以实现在道路三维地理场景中对道路病害检测结果进行可视化展示。通过上述方法，可以实现在病害检测场景下道路图像的有效采集，道路病害检测结果更准确、全面；并为用户提供更加清晰、直观的视觉效果，提升了用户体验；同时实现道路检测对高精地图的更新闭环。

Description

道路病害检测方法、装置、设备、介质及系统

技术领域

本申请涉及智能交通技术领域，尤其涉及一种道路病害检测方法、装置、设备、介质及系统。

背景技术

道路病害检测在道路的维修及养护中占有重要的地位，传统的基于人工的检测方式，因其速度慢、准确度低且容易造成交通干扰等问题，已逐渐不能适应智能交通的发展要求。

相关技术中，采用基于图像识别的无损检测技术，对道路病害进行检测，其虽然在一定程度上可以有效解决人工检测方式产生的缺陷，但仍然存在诸多问题，主要包括以下几个方面：在采集道路图像时，采用摄像头默认曝光频率进行图像采集，而没有考虑图像采集过程中车辆速度，这将造成拍摄的道路图像重合度高或者遗漏道路图像，最终导致病害检测结果要么数据处理量太大，要么检测结果准确性降低；并且在进行道路检测后，通常是将病害检测结果以二维图像的形式直接向用户展示，难以结合实际道路环境观测道路病害，用户视觉体验效果不佳。

发明内容

本申请提供一种道路病害检测方法、装置、设备、介质及系统，以至少解决上述技术问题之一。

根据本申请的一方面，提供一种道路病害检测方法，包括：基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率，并获取基于曝光频率所采集的道路图像；根据道路图像对目标道路进行病害检测识别，得到道路病害检测结果，道路病害检测结果包括病害类型和病害位置；基于预置的第一高精地图数据构建道路三维地理场景，并将道路病害检测结果叠加至道路三维地理场景中，以实现在道路三维地理场景中对道路病害检测结果进行可视化展示。

在一种实施方式中，方法还包括：将曝光频率传输至便携式图像采集终端，以使便携式图像采集终端基于曝光频率采集道路图像，并获取便携式图像采集终端基于曝光频率所采集的道路图像；其中，便携式图像采集终端包括工控模块，以及分别与工控模块电连接的图像采集模块、定位模块和电源模块；工控模块，用于获取确定的曝光频率，并控制图像采集模块基于曝光频率采集道路图像，并控制定位模块在图像采集模块采集道路图像时进行定位，使得所采集的道路图像携带定位信息，以及控制电源模块为图像采集模块和定位模块提供电源。

在一种实施方式中，基于道路图像对目标道路进行病害检测识别，包括：将道路图像传输至配置道路检测算法模型的云端平台，使得云端平台基于道路检测算法模型对道路图像进行病害检测识别，以得到道路病害检测结果，道路病害检测结果包括病害类型和病害位置；其中，道路检测算法模型是基于神经网络分割算法训练得到的，其包括分别用于检测不同病害类型的多个子模型，不同病害类型包括路面病害和沿线设施病害。

在一种实施方式中，便携式图像采集终端还包括与工控模块电连接的数据存储与传输模块，数据存储与传输模块，用于存储或者传输道路图像；基于道路图像对目标道路进行病害检测识别，包括：调用便携式图像采集终端，将道路图像传输至配置道路检测算法模型的云端平台，使得云端平台基于道路检测算法模型对道路图像进行病害检测识别，以得到道路病害检测结果。

在一种实施方式中，便携式图像采集终端还包括吸盘，使得便携式图像采集终端吸附固定在车辆上，在车辆行车过程中采集道路图像。

在一种实施方式中，定位信息为经纬度信息；方法还包括：将道路图像携带的经纬度信息转化为桩号信息，桩号信息用于标识病害的道路位置；和/或，基于道路图像携带的定位信息，获取与定位信息相匹配的预置的第一高精地图数据。

在一种实施方式中，道路病害检测结果中包含每帧的道路图像对应的第一病害检测信息；在得到道路病害检测结果之后，以及将道路病害检测结果叠加至道路三维地理场景中之前，还包括：检测每帧的道路图像对应的第一病害检测信息中是否存在重合的第一病害检测信息，若存在重合的第一病害检测信息，则对重合的第一病害检测信息进行去重处理，以得到最终的道路病害检测结果；和/或，检测每帧的道路图像对应的第一病害检测信息之间是否具有预置的关联特征，若具有关联特征，则对具有关联特征的第一病害检测信息进行合并，以得到最终的道路检测结果；其中，具有关联特征至少包括以下情形之一：对应的第一病害检测信息是基于连续帧的道路图像检测到的；对应的第一病害检测信息是相同类型的病害；对应的第一病害检测信息之间相似度达到预设阈值。

在一种实施方式中，基于预置的第一高精地图数据构建道路三维地理场景，包括：将目标道路对应的遥感影像按照不同的分辨率，构建多层级的栅格影像数据，并在预置的多尺度空间数据模型中，定位所有相应的栅格影像数据；其中，多尺度空间数据模型是基于地理空间数据库中的交通特征数据建立的；基于定位后的多尺度空间数据模型和目标道路对应的高程数据构建地形模型场景；将地形模型场景与第一高精地图数据进行融合，以构建道路三维地理场景。

在一种实施方式中，将地形模型场景与第一高精地图数据进行融合，包括：将地形模型场景中的模拟道路分割为道路段，并基于第一高精地图数据中对应的道路数据，对道路段进行旋转处理，使所有的道路段拼接为与第一高精地图数据匹配的道路模型；基于道路模型融合第一高精地图数据中除了道路数据的其它地图要素数据。

在一种实施方式中，道路三维地理场景为三角面片集合，方法还包括：对构建的道路三维地理场景进行简化，以得到最终的道路三维地理场景；其中，简化方式包括简化道路三维地理场景的三角面片数量，和/或，设置道路三维地理场景的可见距离。

在一种实施方式中，方法还包括：基于道路病害检测结果，识别第二高精地图数据中对应的地图要素，并确定地图要素是否携带道路病害检测结果中对应的第二病害检测信息；将地图要素中未携带对应第二病害检测信息的地图要素，作为待更新的地图要素；基于待更新的地图要素和道路病害检测结果，确定用于更新第二高精地图数据的增量数据，以基于增量数据更新第二高精地图数据。

在一种实施方式中，预置的第一高精地图数据为经过更新后的第二高精地图数据。

第二方面，本申请实施例提供一种道路病害检测装置，包括：图像获取模块，其设置为基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率，并获取基于曝光频率所采集的道路图像；检测模块，其设置为根据道路图像对目标道路进行病害检测识别，得到道路病害检测结果，道路病害检测结果包括病害类型和病害位置；三维展示模块，其设置为基于预置的第一高精地图数据构建道路三维地理场景，并将道路病害检测结果叠加至道路三维地理场景中，以实现在道路三维地理场景中对道路病害检测结果进行可视化展示。

在一种实施方式中，该道路病害检测装置用于执行上述第一方面中的任一种可能的实现方式。

第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，使得电子设备执行的道路病害检测方法。

在一种实施方式中，该电子设备用于执行上述第一方面中的任一种可能的实现方式。

第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现的道路病害检测方法。

在一种实施方式中，该计算机可读存储设备用于执行上述第一方面中的任一种可能的实现方式。

第五方面，本申请实施例还提供一种道路病害检测系统，包括智能车辆、便携式图像采集终端和云端平台，其中，智能车辆，用于执行的道路病害检测方法；便携式图像采集终端，用于获取智能车辆传输的曝光频率，并基于曝光频率采集道路图像，并将道路图像传输至智能车辆和/或云端平台；云端平台，其内置道路检测算法模型，用于接收智能车辆或者便携式图像采集终端传输的道路图像，并基于道路检测算法模型对道路图像进行病害检测识别。

在一种实施方式中，该道路病害检测系统用于执行上述第一方面中的任一种可能的实现方式。

本申请提供的道路病害检测方法、装置、设备、介质及系统，通过基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率，并获取基于曝光频率所采集的道路图像，根据道路图像对目标道路进行病害检测识别，得到道路病害检测结果，该道路病害检测结果包括病害类型和病害位置，并基于预置的第一高精地图数据构建道路三维地理场景，并将道路病害检测结果叠加至道路三维地理场景中，以实现在道路三维地理场景中对道路病害检测结果进行可视化展示。此过程中，通过车辆速度和预设曝光距离实时确定曝光频率，降低道路图像的重合率和遗漏率，实现在病害检测场景下道路图像的有效采集，减少数据处理量的同时为道路病害的精确识别奠定基础，并对上述曝光频率采集的道路图像进行检测，检测出道路图像中的路面病害和沿线设施病害，检测结果更准确、全面；同时结合了高精地图构建道路三维地理场景，对路面病害和沿线设施病害进行三维模型的可视化展示，可以为用户提供更加清晰、直观的视觉效果，进而快速定位道路的病害位置及病害程度，以便于道路病害管理，进一步提升了用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的道路病害检测方法的应用场景示意图之一；

图2为本申请实施例提供的一种道路病害检测方法的流程示意图；

图3为本申请实施例中结合道路检测算法模型进行道路病害检测的示意图；

图4为本申请实施例中Mask-RCNN模型的网络结构图；

图5为本申请实施例中FCN的网络架构图；

图6为本申请实施例中RoI Align的网络架构图；

图7为本申请实施例提供的另一种道路病害检测方法的流程示意图；

图8a为本申请实施例提供的便携式图像采集终端的结构示意图；

图8b为本申请实施例中便携式图像采集终端装载在车辆上的结构示意图；

图9为本申请实施例提供的道路病害检测方法的应用场景示意图之二；

图10为本申请实施例提供的又一种道路病害检测方法的流程示意图；

图11a为本申请实施例中多尺度空间数据模型的示意图；

图11b为本申请实施例中在多尺度空间数据模型定位栅格影像数据后的示意图；

图11c为本申请实施例提供的地形模型场景的示意图之一；

图11d为本申请实施例提供的地形模型场景的示意图之二；

图12a为本申请实施例中高精地图生成场景图之一；

图12b为本申请实施例中高精地图生成场景图之二

图12c为本申请实施例中高精地图生成场景图之三；

图13a为本申请实施例中模型分段融合场景图之一；

图13b为本申请实施例中道路段融合场景图之二；

图14为本申请实施例提供的再一种道路病害检测方法的流程示意图之一；

图15为本申请实施例提供的再一种道路病害检测方法的流程示意图之二；

图16为本申请实施例提供的一种道路病害检测装置的结构示意图；

图17为本申请实施例提供的一种电子设备的结构示意图；

图18为本申请实施例提供的一种道路病害检测系统的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

下面结合应用场景对本申请实施例进行解释，本申请实施例提供的道路病害检测方法可以应用于智能驾驶的应用场景下，更具体地，可以应用于基于车云计算的自动驾驶应用场景下，示例性地，本申请实施例提供的方法的执行主体可以为智能车辆(以下简称车辆)，更具体地，可以为车辆的域控制器，在一些实施例中，本申请实施例提供的方法的执行主体也可以为其它服务器，例如地图出厂商的服务器，或者公路巡护单位的服务器，本实施例提供的方法的执行主体不做具体限定。下面以智能车辆为本申请实施例提供的方法的执行主体进行介绍：

图1为本申请实施例提供的一种道路病害检测方法的场景示意图，如图1所示，包括智能车辆110，以及与智能车辆110电连接的便携式图像采集终端120，便携式图像采集终端120用于在智能车辆110行车过程中拍摄道路图像，智能车辆110用于获取道路图像，并对道路图像进行道路病害检测识别，并将病害检测识别结果传输至公路巡护单位的服务器端，利用道路病害检测结果对公路进行维修和养护，或者传输至或者高精地图生产商的服务器端，利用道路病害检测结果更新高精地图。可选地，还可以包括与智能车辆110或者便携式图像采集终端120网络连接的云端平台130，在云端平台中配置道路病害检测算法模型，智能车辆110调用云端平台，利用道路病害检测算法模型对道路检测图像进行道路病害检测；可选地，智能车辆110还可以调用云端平台构建三维地理场景，对病害检测结果进行三维可视化展示。

相关技术中，在上述过程中进行道路病害检测，通常利用在车端装载无损检测设备进行图像采集和识别，其在采集道路图像时，没有考虑图像采集过程中的曝光频率，主要利用摄像头原有的曝光频率进行拍摄，在不同的道路场景下，车辆的不同速度会影响道路图像的拍摄，将造成拍摄的道路图像重合度高或者遗漏道路图像，最终导致病害检测结果要么数据处理量太大，要么检测结果准确性降低，难以应用于多种道路场景；并且在进行道路检测后，通常是将病害检测结果以二维图像的形式直接向用户展示，难以结合实际道路环境观测道路病害，用户视觉体验效果不佳；此外，上述无损检测设备图像采集和识别一体化，其价格昂贵、成本高，推广使用较为困难，难以实现在道路病害检测领域中的普遍应用。

有鉴于此，本申请实施例提供的道路病害检测方法、装置、设备、介质及系统，通过基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率，并获取基于曝光频率所采集的道路图像，根据道路图像对目标道路进行病害检测识别，得到道路病害检测结果，该道路病害检测结果包括病害类型和病害位置，并基于预置的第一高精地图数据构建道路三维地理场景，并将道路病害检测结果叠加至道路三维地理场景中，以实现在道路三维地理场景中对道路病害检测结果进行可视化展示。此过程中，通过根据车辆速度和预设曝光距离实时确定曝光频率，减少道路图像的重合率和遗漏率，实现在病害检测场景下道路图像的有效采集，缩小数据处理量的同时为道路病害的精确识别奠定基础；并且，通过与便携式图像采集终端和云平台之间的交互，实现道路图像采集和算法模型针对不路面病害和沿线设施病害的检测识别，降低车端的运算量，解决设备一体化识别成本高、推广困难的问题，可以同时实现多道路场景的病害检测过程，效率更高；并且，结合了高精地图中高精度的卫星定位技术，对路面和沿线设施进行三维模型的可视化展示，实现公路的日常养护巡查智能化，提升了用户体验。此外，病害检测结果可用于高精地图的更新，为车辆的安全驾驶提供辅助功能，并且更新后的高精地图还可以用于道路三维地理场景的构建，形成高精地图更新与应用的闭环。

下面结合附图和具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。需要说明的是，这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

请参照图2，图2为本申请实施例提供的一种道路病害检测方法的流程示意图，该方法包括步骤S201-S2/4。

步骤S201、基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率；步骤S202、获取基于曝光频率所采集的道路图像。

曝光频率，也即每秒钟曝光的次数，频率越高就曝光越多，也就是采集的图像越多。

相关技术中，在进行道路病害检测时，没有考虑摄像头的曝光频率和车辆行车速度之间的冲突，摄像头的曝光频率通常为默认值，导致在不同行车速度情况下，所采集的道路图像要么太多，产生很多重复图像，或者要么太少，导致图像的遗漏。本实施例中，通过对曝光频率进行灵活设置，考虑了车辆速度和曝光距离，可以根据行车速度动态调整曝光频率，减少数据采集对行车速度的限制，适应更多的道路场景，可以有效解决重合图像或者遗漏图像的问题。

在一可实现中，为保证采集道路图像具有更高的可用性，可以设置每张道路采集图像覆盖5米相等长度的路面。本实施例结合预设曝光距离(也即车辆行驶距离)计算曝光频率，摄像头曝光拍摄的时间频率＝5米/速度，其中，在执行主体非车辆的情形下，车辆速度可以采用全球定位系统(Global Positioning System，GPS)根据定位点坐标和定位时刻的时间获取。

在一可实现中，利用可以快速安装在车辆上的便携式图像采集终端采集道路图像，通过将实时确定的曝光频率传输至便携式图像采集终端，便携式图像采集终端根据该曝光频率采集道路图像，该便携式图像采集终端具有定位模块，每采集的道路图像具有对应的定位信息。其中，便携式图像采集终端示例在后文已进行描述，此处不再多作赘述；在另一可实现中，在以车辆为执行主体的示例中，可以利用车辆自带的摄像装置进行道路图像的采集。

需要说明的是，本领域技术人员可以结合实际应用和现有技术对预设曝光距离进行适应性设定，例如，可以根据待检测的目标道路的新旧程度(使用年限)、最近一次维护时间、上一次维护病害位置等信息进行择一或者按照权值共同确定。示例性的，针对目标道路使用年限在1～5年内，可以设置预设曝光距离为20米，目标道路使用年限在10年以上的预设曝光距离设置为5米。

步骤S203、根据道路图像对目标道路进行病害检测识别，得到道路病害检测结果，道路病害检测结果包括病害类型和病害位置。

本实施例中，可以采用目标检测算法对道路图像中的目标道路进行病害检测识别，该目标检测算法可以是根据样本数据训练得到的，可以根据不同的病害类型分别训练各自的目标检测算法也可以统一训练，利用目标检测框标识病害位置。可选地，在采集道路图像时即进行定位，结合对应的定位信息和目标检测框位置，可获取更加精确的病害位置。

本实施例中，病害类型包括路面病害和沿线设施病害，如下表1所示：

表1

针对不同的道路环境，例如全国高速路、国省道、农村公路、城市道路上实现病害识别分析，对于道路上的裂缝，网裂，沉陷，拥包，剥落，路框差，坑槽，病害已修，标志标线等公路病害，以及护栏板、警示桩、标识标牌、里程碑、减速带、排水井、灯杆等交安资产异常(也即沿线设施病害)等，针对各个类型的病害进行检测识别。可选地，当识别道路为双向单车道时，既包含双向车道识别要素，反之则只识别当前顺行方向的道路识别要素。

考虑到车端计算资源有限，而在实际应用中，道路病害例如路面病害和公路设施损坏的类型特别多，每个种类的检测算法，均会占用图形处理器(Graphics ProcessingUnit，GPU)算例和内存。由于在车端域控制器性能配置局限，难以实现所有算法算例的部署。而在云端，则可以通过扩展服务器资源来达到各类别算法算例的部署要求。因此，采用云端检测算法，较之车端检测，能够保障识别病害的种类覆盖大多数路面病害和交安设施损坏。具体地，在一种实施方式中，上述步骤S203基于道路图像对目标道路进行病害检测识别，可以包括以下步骤：

将道路图像传输至配置道路检测算法模型的云端平台，使得云端平台基于道路检测算法模型对道路图像进行病害检测识别，以得到道路病害检测结果，道路病害检测结果包括病害类型和病害位置；

其中，道路检测算法模型是基于神经网络分割算法训练得到的，其包括分别用于检测不同病害类型的多个子模型，不同病害类型包括路面病害和沿线设施病害。

本实施例中，通过分别训练不同类型道路病害对应的子模型，并利用这些子模型对道路图像进行识别，可以有效提高道路病害的识别精度。

本实施例中，道路检测算法模型主要是利用深度学习算法-神经网络分割算法训练得到，实现自动识别路面病害和公路设施病害。在一可实现中，结合图3所示，首先采集道路图像，(可以利用道路检测算法模型)提取道路采集图像中的对象，包括行人、车辆、道路要素(例如标线)等，并输入至道路检测算法模型中提取特征，并进行分类，并在道路图像中进行标注。其中深度学习算法基于多层神经网络，自动提取其中不同层次的特征，将这些特征传送给相应的分类器进行识别，需要借助大量的经验样本数据来实现，样本数量越多，自动识别的准确率越高。

本实施例采用的深度学习算法可以采用以下两种之一或者组合，示例性的，一种是Mask-RCNN模型，可以作为主要的检测算法；另一种是YOLOv5模型，可以作为补充检测较小的病害，并承担Mask-RCNN模型的识别结果检验的作用。换言之，本实施例提供的道路检测算法模型可以择一或者同时包括上述两种模型。

其中，Mask-RCNN模型，也即Mask-RCNN分割算法，是基于Faster-RCNN的框架，在基础特征网络之后又加入了全连接的分割网络，由原来的两个任务(分类+回归)变为了三个任务(分类+回归+分割)。Mask-RCNN采用和Faster-RCNN相同的两个阶段，对FastRCNN的每个proposal box都使用FCN进行语义分割，包括三个阶段，如图4所示：

第一阶段具有相同的第一层(即RegionProposal Network，RPN)，扫描图像并生成区域提议proposals(即有可能包含一个目标的区域)；第二阶段，除了预测种类和bbox回归，并添加了一个全卷积网络的分支，对每个感兴趣区(Region of Interest，RoI)预测了对应的二值掩膜(binary mask)，以说明给定像素是否是目标的一部分。二进制mask就是当像素属于目标的所有位置上时标识为1，其它位置标识为0。最后，对这些ROI进行分类(N类别分类)、bbox回归和mask生成(在每一个ROI里面进行完全卷积网络FCN操作)。这样做的好处是可以将整个任务简化为mulit-stage pipeline，解耦了多个子任务的关系。具体流程步骤如下：(a)首先输入一幅图片，然后进行对应的预处理操作；(b)然后将其输入到一个预训练好的神经网络中获得对应的特征图feature map；(c)对这个feature map中的每一点设定预定个的ROI(Region of Interest，兴趣区)，从而获得多个候选ROI；(d)将这些候选的ROI送入RPN网络进行二值分类(前景或背景)和BB回归，过滤掉一部分候选的ROI；(e)对剩下的ROI进行兴趣区对应ROI Align操作，即先将原图和feature map的像素对应起来，然后将feature map和固定的feature对应起来；(f)最后对这些ROI进行分类(N类别分类)、boundingbox回归和mask生成(在每一个ROI里面进行FCN操作)。其中，Mask-RCNN中的FCN如图5所示，Mask-RCNN中RoI Align如图6所示。在图6中，除了阴影部分的正常部分为原来的Faster-RCNN，阴影部分为在Faster RCNN网络上的修改，它引入了RoI Align代替FasterRCNN中的RoIPooling，同时引入语义分割分支，实现了mask和class预测的关系的解耦，mask分支做语义分割，类型预测和bbox回归任务由上面的另一个分支完成。

YOLOv5算法模型由骨干网络、颈部和头部组成。其中，骨干网络，主要包括Focus网络层、BottleneckCSP(Cross Stage Partial)网络层和SSP网络层构成，其中主要包括Focus、Conv卷积块、BottleneckCSP和SSP等模块。在一示例汇总，首先输入大小为640*640*3的道路图像，其中3是卷积数量，通过Focus模块进行切片，减小图像的高度和宽度输出图片大小为320*320，并通过Concat将切片图像的高度和宽度整合，增加输入图像的通道数，此时图像通道数为64。其次对整合后的图像通过大小为3，步长为2的Conv卷积模块进行特征提取，输出图像大小为160*160*128。然后对提取的特征图经过3组BottleneckCSP1和Conv卷积操作后，得到图像大小为20*20*1024的特征图。对20*20的特征图采用SSP模块来提升模型精度。SSP模块对图像分别进行1*1、5*5、9*9、134*134次最大池化操作从多方面提取特征，通过Concat将四组池化后的特征图聚合起来；颈部，采用BottleneckCSP1和BottleneckCSP2能在保证准确的同时，提高网络速度。YOLOv5的颈部采用BottleneckCSP2模块减少模型参数量，通过上采样操作80*80*512大小的特征图，上采样过程由2组BottleneckCSP2、大小为1步长为1的Conv、Upsample和Concat连接完成，其中Concat[i,j]中j代表网络中第j层操作得到的特征图。对80*80*512的特征图再通过下采用操作分别得到80*80*512、40*40*512、20*20*512三种不大小的特征图；头部，采用多尺度特征图用于检测，用大图像检测小目标，小图像检测大目标。对颈部三种不同尺度特征图，通过Conv2d卷积操作，最终得到三个大小分别为80*80*255、40*40*255、20*20*255的特征图；输出，在三个不同尺度特征图上生成候选框，以检测类型只有2类为例，对3个尺度特征图使用3种大小不同的候选框对道路图像中的物体进行检测，得到相干数量的候选框。最后输出采用加权非极大值的方式对目标框进行筛选对生成的所有候选框进行筛选，输出目标分类和边框回归。

步骤S204、基于预置的第一高精地图数据构建道路三维地理场景，并将道路病害检测结果叠加至道路三维地理场景中，以实现在道路三维地理场景中对道路病害检测结果进行可视化展示。

本实施例中，第一高精地图数据可以是包含待检测的目标道路的高精地图数据，其可以是在进行道路病害检测之前预先配置的。此外需要说明的是，本实施例中的第一高精地图数据和后文中的第二高精地图数据仅用于区分类似对象，而无其它特殊含义，该第一高精地图数据和第二高精地图数据可以是相同的高精地图数据也可以是不同的高精地图数据。

可以理解，道路三维地理场景是基于三维建模的仿真模型(包含建筑模型、地图模型等与真实世界相对应的仿真模型)，通过在道路三维地理场景中叠加道路病害检测结果，可以为用户提供更加清晰、直观的视觉效果，进而快速定位道路的病害位置及病害程度，进一步提升了用户体验。

请参照图7，图7为本申请实施例提供的另一种道路病害检测方法的流程示意图，在上述实施例的基础上，本实施例利用便携式图像采集终端采集道路图像，仅需将便携式图像采集终端安装在车辆上，减少了车辆的改装、标定等环节，并能够实现在采集道路图像时的精准定位，便于后续步骤中的三维视觉化展示。具体地，除了上述步骤S201-S203之外，本实施例提供的方法还可以包括以下步骤S701，并将步骤S202划分为步骤S202a。

步骤S701、将曝光频率传输至便携式图像采集终端，以使便携式图像采集终端基于曝光频率采集道路图像；步骤S202a、获取便携式图像采集终端基于曝光频率所采集的道路图像；

结合图8a和图8b所示，其中图8a为便携式图像采集终端的结构示意图，图8b为便携式采集终端装载在车辆上的结构示意图，如图8a所示，本实施例提供的便携式图像采集终端包括工控模块81，以及分别与工控模块81电连接的图像采集模块82、定位模块83和电源模块74；工控模块81，用于获取确定的曝光频率，并控制图像采集模块82基于曝光频率采集道路图像，并控制定位模块83在图像采集模块时进行定位，使得所采集的道路图像携带定位信息，以及控制电源模块84为图像采集模块82和定位模块83提供电源。

本实施例中，图像采集模块82可以为高清相机，例如云台式相机，可以为1920*1680图像采集，最大帧率：25帧/秒。定位模块83可以采用双频实时差分定位(Real-timekinematic，RTK)+惯导GPS定位，可以包括陀螺仪传感器和GNSS传感器等，达到车道级高精定位的目的，为采集的图像提供确切的定位位置，以保障病害的地理位置准确，为基于公路3DGIS场景的病害可视化管理提供基础。工控模块81可以包括主控器和3G/4G/5G/wifi通信器，主控器可以为数据备份存储设备，当图像通过通信器(与车辆或者云端)进行传输的时候可以自动备份到主控器中，保证数据不会因为网络问题而丢失。同时，工控机可以通过通信器接收车辆传输的曝光频率，并控制对应的模块进行拍摄和定位等。

进一步地，便携式图像采集终端还可以包括路面图像采集仪显示器，基于工控模块81显示控制便携式图像采集终端采集工作启动和结束，同时，在车端能够看到设备的运行动态以及采集的道路图像。各个模块之间可以通过电源连接线，将图像采集模块82、定位模块83等均连接到工控模块81，并保证工控模块与电源模块84连通，为设备的各个模块进行供电。可选地，电源模块84可以为12V电瓶。

在一些实施例中，本实施例提供的方法可以应用在便携式图像采集终端中，基于便携式图像采集终端的上述结构，通过在工控模块内置对相机摄像头采集频率(即曝光频率)的控制算法，即步骤S201根据车辆速度和曝光距离确定曝光频率的控制算法，例如确定的曝光频率为保证高清相机图像采集的频率，所采集的道路图像能够覆盖5米相等长度的路面，以及内置识别算法、模型构建算法(或者与云平台之间的交互)，利用工控模块执行步骤S203根据道路图像对目标道路进行病害检测识别，以及步骤S204基于预置的第一高精地图数据构建道路三维地理场景，并将道路病害检测结果叠加至道路三维地理场景中，以实现在道路三维地理场景中对道路病害检测结果进行可视化展示。

在一种实施方式中，考虑到在数据传输过程中，由于网络等因素，可能存在传输失败，导致图像数据的丢失等问题，本实施例中的便携式图像采集终端还可以包括与工控模块电连接的数据存储与传输模块，数据存储与传输模块，用于存储或者传输道路图像；

上述步骤S203中基于道路图像对目标道路进行病害检测识别，可以包括以下步骤：调用便携式图像采集终端，将道路图像传输至配置道路检测算法模型的云端平台，使得云端平台基于道路检测算法模型对道路图像进行病害检测识别，以得到道路病害检测结果。

具体地，本实施例中数据存储与传输模块可以实现对道路图像的存储和传输功能，在网速较慢或者道路图像较多时，通过将道路图像进行存储，并采用传输队列的形式，依次上传至云端平台。可见本实施例可以对沿途采集的数据进行在线自动回传，并可以利用存储与传输模块断点续存，保证了数据不会丢失，停车停止传输。并在便携式图像采集终端离线时，则将道路图像进行本地存储备份，重新在线时完成传输。

进一步地，还可以通过在站点搭建无线中转服务器，辅助进行数据传输，以防止因为网络原因造成的数据积压。道路图像在从便携式图像采集终端上传以后即可存放于云端平台上。可以将云端平台的网络附属存储(Network Attached Storage，NAS)存储的图片数据，向前推预设时间段(例如1个月)的数据，进行备份归档，备份至本地NAS存储。定时删除云端服务器NAS服务上无用的旧数据，完成数据清理操作。

在一种实施方式中，便携式图像采集终端还包括吸盘，使得便携式图像采集终端吸附固定在车辆上，在车辆行车过程中采集道路图像。

具体地，吸盘可以采用磁铁吸盘，通过吸附在车辆的顶部，无需打孔、螺栓等安装连接，实现在车辆上的免安装，更加简便且成本更低。

可以理解，相关技术中，车辆虽然会携带摄像头、陀螺仪和GNSS传感器等传感器设备，但不同的传感器设备通常设置在车辆的不同位置，在实际应用中需要进行复杂的标定过程。为了减少道路病害检测的上述流程，本实施例通过设置便携式图像采集终端，在该终端中集成图像采集模块、定位模块等模块，能够实现快速安装，且免标定使用，并且在需要进行多处目标道路的检测时，可以利用多台便携式图像采集终端分别设置在对应的道路上的车辆即可，同时对多处道路的道路图像采集，大幅提高了道路病害检测效率。

在一种实施方式中，定位信息为经纬度信息；该方法还可以包括以下步骤：将道路图像携带的经纬度信息转化为桩号信息，桩号信息用于标识病害的道路位置；和/或，基于道路图像携带的定位信息，获取与定位信息相匹配的预置的第一高精地图数据。

本实施例中，为了保证检测到的病害数据在公路交通行业的使用习惯，通过将经纬度转化为桩号信息(桩号：用于确定道路，管道设计位置的辅助定位手段)，以标识病害的公路位置。以下例举两种公里桩信息的导入方式：(1)利用已有的路线图层和已有桩号数据，与现场高精GNSS信息，关联计算出任意一个点的桩号；(2)利用速度计或距离传感器等，人工输入初始桩号后，累积计算，过程中人工修正。

可以理解，桩号和经纬度的转换，上述桩号导入方式，均对应了相应的经纬度。所以，可以通过线性插值的方式，计算路线上任意位置的桩号信息。从而实现桩号和经纬度的互转。

在一可实现中，如图9所示，车辆在目标道路(高速公路)上行驶，利用便携式图像采集终端采集道路图像，该道路图像携带对经纬度信息转换后的桩号信息(例如车辆的桩号G1501-35和其车辆经纬度，与道路图像经纬度，利用线性插值计算道路图像桩号为(G1501-35)+4)，并将该携带桩号信息的道路图像传输到云端，识别出道路图像中携带的路面病害(假设该场景下没有其它类型的病害)，再将道路病害检测结果叠加至构建的道路三维地理场景，由可视化界面将病害位置以桩号和GPS位置的形式进行可视化展示，反馈给用户。

本实施例中，还通过道路图像中携带的定位信息，获取对应的第一高精地图数据，以便于在后续步骤中构建道路三维地理场景，降低因第一高精地图数据覆盖内容过多道路查找困难等问题。

请参照图10，图10为本申请实施例提供的又一种道路病害检测方法的流程示意图，在上述实施例的基础上，考虑到采集的道路图像可能产生病害检测信息重合或者病害检测信息分开在多张道路图像中的问题，通过对道路病害检测结果进行去重和合并后再进行可视化展示，进一步提高病害检测数据的准确性，提升用户使用体验。具体地，本实施例的道路病害检测结果中包含每帧的道路图像对应的第一病害检测信息；在上述步骤S203得到道路病害检测结果之后，以及步骤S204中将道路病害检测结果叠加至道路三维地理场景中之前，还包括步骤S101和/或步骤S102：

步骤S101、检测每帧的道路图像对应的第一病害检测信息中是否存在重合的第一病害检测信息，并在存在重合的第一病害检测信息时，对重合的第一病害检测信息进行去重处理，以得到最终的道路病害检测结果；和/或，步骤S102、检测每帧的道路图像对应的第一病害检测信息之间是否具有预置的关联特征，并在第一病害检测信息具有关联特征时，对具有关联特征的第一病害检测信息进行合并，以得到最终的道路检测结果；

其中，具有关联特征至少包括以下情形之一：对应的第一病害检测信息是基于连续帧的道路图像检测到的；对应的第一病害检测信息是相同类型的病害；对应的第一病害检测信息之间相似度达到预设阈值。

可选地，结合上述实施例中提到的道路检测算法模型，本实施例在基于道路检测算法模型完成道路病害检测，并获得道路病害检测结果。但由于路面病害随机性，尤其是纵向裂缝，长度可达5-10米甚至更长。因此，一张道路图像可能并非对同一病害进行完全覆盖，会出现同一病害在连续的图像中均能检测到，这又分为两种情况：同一个完整的病害在连续的图像中被重复检测到；或者，同一个病害的不同部位在连续的图像中被分别检测到。

对于上述的第一种情况，可以采用去重的方法。由于本实施例摄像头采用可自动调节曝光频率进行拍摄，例如每前进5米就拍摄一次，图像的覆盖范围也是车前方5米，所以使得连续的两帧图像通常不会重复，一定程度上有效减少了同一个完整的病害在连续的图像中被重复检测到这种情况的发生。但在出现重复检测的情况，本实施例通过对重复病害进行去重，检测结果更加准确。

对于第二种情况，采用合并的方法。因为摄像头采用自动调节曝光频率，所采集的连续图像可拼接而重合少，从而降低了判断同一个病害跨多帧连续图像的情况下的计算量。合并方法示例如下：首先识别到图像上的病害类型；然后判断前后两帧是否有同样的病害类型被识别到；如果前一帧或者后一帧存在同样的病害类型，则可以利用病害桩号和所在车道位置、长度、覆盖像素范围以及走向进行分析；当前一帧的病害像素范围和后一帧的病害像素范围刚好可以重合，则认为是同一个病害，进行合并。5、反之，则认为是两个不同的病害，并可以分别赋于不同的病害标识。

可以理解的，本实施例中的第一病害检测信息和后文提到的第二病害检测信息仅用于区分类似对象，而无其它特殊含义，其可以为相同的病害检测信息，也可以是不同的病害检测信息，此处不再赘述。

进一步地，上述步骤S204中的基于预置的第一高精地图数据构建道路三维地理场景，如图所示，可以包括以下步骤：

将目标道路对应的遥感影像按照不同的分辨率，构建多层级的栅格影像数据，并在预置的多尺度空间数据模型中，定位所有相应的栅格影像数据；其中，多尺度空间数据模型是基于地理空间数据库中的交通特征数据建立的；基于定位后的多尺度空间数据模型和目标道路对应的高程数据构建地形模型场景；将地形模型场景与第一高精地图数据进行融合，以构建道路三维地理场景。

本实施例中，利用多尺度的遥感影像(即遥感卫星影响，以下简称影像数据)和高程(Digital Elevation Model，DEM)数据叠加来实现可视化效果。多尺度的影像数据在影像分辨率上具有不同的级别与层次，最高层次的影像数据，可清晰的辨别道路周边的环境信息。可选地，为节约车端计算资源，构建道路三维地理场景的过程也可以通过调用云端平台实现。

对地理空间数据库中的交通特征数据建立多尺度空间数据模型，通过空间范围匹配，快速定位所有相应的栅格影像数据。以已定位的原始栅格影像作为底层，在数据库中建立多级分辨率影像金字塔，根据当前比例尺和所需要的数据范围，计算出当前最佳显示分辨率，然后提取相应尺度等级的栅格数据，实现不同尺度之间的无缝集成，如图11a和图11b所示。同时利用DEM数据纠正多尺度的影像数据，并可以将多尺度影像数据构建多级金字塔，按照点对点的纹理映射与多等级DEM数据进行匹配，建立整体的地形模型场景，真实展现其地形地貌和环境，如图11c和图11d所示。进一步地，为了提高模型的可用性，可以利用三维地理信息系统(Geographic Information System，GIS)桌面，将上述地形模型场景数据集导入数据源，设置模型的插入点和坐标系。例如WGS84坐标系。通过将数据集添加到球面场景(或其它三维场景)中，查看模型的纹理、贴图等是否正确，坐标位置是否正确；如果一致，则另存数据集，将数据集保存下来，作为后续与高精地图融合的地形模型场景；否则，可以重新构建地形场景模型。

可以理解的，高精地图是一个矢量的地图数据库，它使用与真实道路相同的元素(直线、曲线、回旋曲线、超高面、车道、标志等)精确描述道路。它兼容上下行规则，并可以本地化信号特征，根据该特征可将高精地图进行道路3D场景的自动化处理，本实施例通过将预先配置目标道路对应的高精地图，并将对应第一高精地图数据与地形模型场景进行融合，以构建道路三维地理场景，还原目标道路的真实场景。

其中，结合图12a-图12c所示，高精地图的预配置过程示例如下：

(1)高精度路网的自动化处理，其可以应用三维道路参数建模方法，通过读取平面线形、纵断面线、横断面来确定道路的起伏走向，并根据不同道路横断面进行道路各匝道间互通桥梁间的拼接与拟合，拟合后效果如图12a所示。

(2)标线的处理。在标线的处理中，结合相关规范及各路口形式，进行标线的重新绘制。在城市中，十字路口、丁字路口、三岔口等平交路口是城市道路最常见的组成部分，对该部分的处理，系统自动生成。通过平面线形的设计，当两条路的平面线相交时，系统会自动计算相交部分，生成默认平交路口。通过对默认平交路口的编辑，确定平交路口的形状和车道分布状况，并给平交路口赋以实际纹理，最终得到平交路口模型，复杂路口的标线生成如图12b所示。

(3)附属设施结构物生成。路网模型中的一些单元如道路旁边的栅栏、树木、交通灯等等，可以通过系统沿道路走向批量植入，道路附属设置添加场景如图12c所示。道路附属设施主要指和道路相关的排水设施、安全设施、防护设施、监控设施、通讯设施、收费设施、绿化设施、服务设施、管理设施、照明设施、消防设施、通风设施、渡口码头、交叉道口、苗圃菜地、界桩、测桩、里程碑、界碑等。

上述处理过程可以采用3Dmax工具补充建模，并与上述构建的地形模型进行融合，以构建道路三维地理场景。

进一步地，上述步骤中将地形模型场景与第一高精地图数据进行融合，可以包括以下步骤：将地形模型场景中的模拟道路分割为道路段，并基于第一高精地图数据中对应的道路数据，对道路段进行旋转处理，使所有的道路段拼接为与第一高精地图数据匹配的道路模型；基于道路模型融合第一高精地图数据中除了道路数据的其它地图要素数据。

由于地形模型场景一般采用平面投影坐标系转换制作，在模型融合过程中，如果采用整体融合的方式容易产生道路变形等情况。因此，为了将模型转换为地理坐标系，通过借助高精度地图进行地理位置纠正，以提高精度。

结合图13a和图13b所示，其中图13a为分段导入的原始状态，图13b为分段导入后，对道路段进行以基点(图中圆圈表示)为中心旋转角度编辑处理后，可对齐高精地图数据。本实施例模型的坐标匹配，采用分段定位点导入加小角度旋转的方法匹配经纬度，即将模型(例如道路段，也可以包括模型中的建筑物或者其他模型或者整体模型的分段，本实施例对此不作限定仅以道路段进行例举)拆分为小段(图中矩形表示)，分段的数据集，在三维GIS场景中去旋转每个分段，使所有段能够拼接成完整的道路模型场景，与高精地图中的道路匹配度更高，进一步提升了视觉效果。

在一种实施方式中，为了提高模型的加载效率，进一步提升用户的使用体验。本实施例的道路三维地理场景为三角面片集合，本实施例提供的方法还可以包括以下步骤：

对构建的道路三维地理场景进行简化，以得到最终的道路三维地理场景；其中，简化方式包括简化道路三维地理场景的三角面片数量，和/或，设置道路三维地理场景的可见距离。

本实施例简化三角面片数量可以包括简化道路三维地理场景本身的三角面片数量，或者数据集三角面片简化；除了简化三角面片数量、设置模型单元的可见距离之外，还可以切缓存控制瓦片边长。在一些实施例中，为了提高模型的加载效率，还可以通过提高客户端网络带宽、内存、显卡等硬件性能。

进一步地，简化三角面片数量还可以对道路三维地理场景进行三角网简化，通过分类处理，按不同的对象类型，其三角面片数量、顶点数量均不同，其简化的百分比也不同，简化的原则可以保证道路三维地理场景中的建筑信息(Building Information Modeling，BIM)模型对象不失真。三角网简化-去除重复顶点-去除重复面-去除重复对象，将简化后的模型数据集保存下来。进一步地，可对简化后的模型数据集切缓存，设置缓存切片的边长来控制缓存瓦片的大小。

进一步地，经高精地图3D场景转换后的道路三维地理场景，生成用户在浏览器能够加载的三维瓦片，发布成三维场景服务，即可使用。本实施例依托三维场景服务，在公路的三维模型上叠加病害图像，进行病害可视化呈现，便于用户对病害信息的关联可视化、巡检轨迹的回放、对图像中的病害的编辑、统计分析、报表导出等。

请参照图14和图15，图14为本申请实施例提供的再一种道路病害检测方法的流程示意图，在上述实施例的基础上，本实施例利用道路病害检测结果更新高精地图数据，利用更新后的高精地图进行辅助驾驶的车辆，提高车辆驾驶的安全性；或者，利用该更新后的高精地图，构建道路三维地理场景，实现道路病害更加清晰化展示，实现道路巡检对高精地图的更新与应用闭环。如图14所示，本实施例除了上述步骤S201-S204之外，本实施例提供方法还可以包括以下步骤：

步骤S141、基于道路病害检测结果，识别第二高精地图数据中对应的地图要素，并确定地图要素是否携带道路病害检测结果中对应的第二病害检测信息；步骤S142、将地图要素中未携带对应第二病害检测信息的地图要素，作为待更新的地图要素；步骤S143、基于待更新的地图要素和道路病害检测结果，确定用于更新第二高精地图数据的增量数据，以基于增量数据更新第二高精地图数据。

本实施例中，在巡检道路病害的同时，巡检回传的道路病害检测结果及对应的道路图像数据，通过加载高精地图的更新算法，识别出高精地图的变化情况，进行高精地图的增量更新，利用更新后的高精地图进行辅助驾驶的车辆，提高车辆驾驶的安全性。

具体地，高精地图的更新过程可以包括：利用巡检回传的道路病害检测结果，进行道路(例如路面)地图要素的识别；与原有高精地图进行叠加对比，由于高精定位精度的原因，每次的路面地图要素位置可能存在偏差，可以采用多次采集的方式，进一步确定同一路面地图要素是否发生变化；如果发生变化，则提取变化的要素，在原有高精地图数据库中替换掉原有要素，达到更新的目的。

本实施例提供的道路病害检测方案，可以同时为公路养护单位和高精地图图商提供服务，在日常养护巡检方面，能够降低人工成本，提高了道路巡检的效率和准确率，大幅提高了养护管理效率；在高精地图更新服务方面，为高精地图更新提供了有效数据信息，和更新途径。

进一步地，本实施例中预置的第一高精地图数据为经过更新后的所述第二高精地图数据。可以理解，如前所述，第一高精地图数据和第二高精地图数据仅用于区分类似对象，而无其它特殊含义，该第一高精地图数据和第二高精地图数据可以是相同的高精地图数据也可以是不同的高精地图数据。在一些实施例中，也可以是没有经过更新的第二高精地图数据，其中，第一高精地图数据/第二高精地图数据可以是包含待检测的目标道路的高精地图数据，其可以是在进行道路病害检测之前预先配置的。

在可实现中，高精地图数据的更新用于病害可视化呈现3D公路模型场景(即道路三维地理场景)的构建，使得构建的三维地理场景病害位置更加清晰化，用户可以更加快速、高效定位病害位置以及查看病害情况。结合图15所示，公路养护智能巡检(对应步骤S201和步骤S202)、公路病害识别与高精地图更新(对应上述步骤S141-143)、基于高精地图的3D模型转换(对应步骤S203)、3DGIS病害管理(用户针对可视化展示的道路三维地理场景中对所述道路病害检测结果进行关联可视化、巡检轨迹的回放、对图像中的病害的编辑、统计分析、报表导出等处理)形成高精度基础设施数字化管理闭环。

请参照图16，图16为本申请实施例提供的一种道路病害检测装置，该装置包括图像获取模块161、检测模块162和三维展示模块163，

图像获取模块161，其设置为基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率，并获取基于曝光频率所采集的道路图像；检测模块162，其设置为根据道路图像对目标道路进行病害检测识别，得到道路病害检测结果，道路病害检测结果包括病害类型和病害位置；三维展示模块163，其设置为基于预置的第一高精地图数据构建道路三维地理场景，并将道路病害检测结果叠加至道路三维地理场景中，以实现在道路三维地理场景中对道路病害检测结果进行可视化展示。

在一种实施方式中，装置还包括：传输模块，其设置为将曝光频率传输至便携式图像采集终端，以使便携式图像采集终端基于曝光频率采集道路图像；该图像获取模块161具体设置为，获取便携式图像采集终端基于曝光频率所采集的道路图像；其中，便携式图像采集终端包括工控模块，以及分别与工控模块电连接的图像采集模块、定位模块和电源模块；工控模块，用于获取确定的曝光频率，并控制图像采集模块基于曝光频率采集道路图像，并控制定位模块在图像采集模块采集道路图像时进行定位，使得所采集的道路图像携带定位信息，以及控制电源模块为图像采集模块和定位模块提供电源。

在一种实施方式中，检测模块162具体设置为，将道路图像传输至配置道路检测算法模型的云端平台，使得云端平台基于道路检测算法模型对道路图像进行病害检测识别，以得到道路病害检测结果，道路病害检测结果包括病害类型和病害位置；其中，道路检测算法模型是基于神经网络分割算法训练得到的，其包括分别用于检测不同病害类型的多个子模型，不同病害类型包括路面病害和沿线设施病害。

在一种实施方式中，便携式图像采集终端还包括与工控模块电连接的数据存储与传输模块，数据存储与传输模块，用于存储或者传输道路图像；检测模块162具体设置为，调用便携式图像采集终端，将道路图像传输至配置道路检测算法模型的云端平台，使得云端平台基于道路检测算法模型对道路图像进行病害检测识别，以得到道路病害检测结果。

在一种实施方式中，便携式图像采集终端还包括吸盘，使得便携式图像采集终端吸附固定在车辆上，在车辆行车过程中采集道路图像。

在一种实施方式中，定位信息为经纬度信息；该装置还包括：转化模块，其设置为将道路图像携带的经纬度信息转化为桩号信息，桩号信息用于标识病害的道路位置；和/或，高精获取模块，其设置为基于道路图像携带的定位信息，获取与定位信息相匹配的预置的第一高精地图数据。

在一种实施方式中，道路病害检测结果中包含每帧的道路图像对应的第一病害检测信息；该装置还包括：第一检测模块，其设置为检测每帧的道路图像对应的第一病害检测信息中是否存在重合的第一病害检测信息；去重模块，其设置为在存在重合的第一病害检测信息时，对重合的第一病害检测信息进行去重处理，以得到最终的道路病害检测结果；和/或，第二检测模块，其设置为检测每帧的道路图像对应的第一病害检测信息之间是否具有预置的关联特征；合并模块，其设置为在具有关联特征时，对具有关联特征的第一病害检测信息进行合并，进行去重和/或合并后，以得到最终的道路检测结果；其中，具有关联特征至少包括以下情形之一：对应的第一病害检测信息是基于连续帧的道路图像检测到的；对应的第一病害检测信息是相同类型的病害；对应的第一病害检测信息之间相似度达到预设阈值。

在一种实施方式中，该三维展示模块163，包括：构建单元，其设置将目标道路对应的遥感影像按照不同的分辨率，构建多层级的栅格影像数据，并在预置的多尺度空间数据模型中，定位所有相应的栅格影像数据；其中，多尺度空间数据模型是基于地理空间数据库中的交通特征数据建立的；基于定位后的多尺度空间数据模型和目标道路对应的高程数据构建地形模型场景；融合单元，其设置为将地形模型场景与第一高精地图数据进行融合，以构建道路三维地理场景。

在一种实施方式中，该融合单元具体设置为，将地形模型场景中的模拟道路分割为道路段，并基于第一高精地图数据中对应的道路数据，对道路段进行旋转处理，使所有的道路段拼接为与第一高精地图数据匹配的道路模型；基于道路模型融合第一高精地图数据中除了道路数据的其它地图要素数据。

在一种实施方式中，道路三维地理场景为三角面片集合，该装置还包括：简化模块，其设置为对构建的道路三维地理场景进行简化，以得到最终的道路三维地理场景；其中，简化方式包括简化道路三维地理场景的三角面片数量，和/或，设置道路三维地理场景的可见距离。

在一种实施方式中，该装置还包括：识别模块，其设置为基于道路病害检测结果，识别第二高精地图数据中对应的地图要素，并确定地图要素是否携带道路病害检测结果中对应的第二病害检测信息；要素确定模块，其设置为将地图要素中未携带对应第二病害检测信息的地图要素，作为待更新的地图要素；更新模块，其设置为基于待更新的地图要素和道路病害检测结果，确定用于更新第二高精地图数据的增量数据，以基于增量数据更新第二高精地图数据。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，检测模块162可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上检测模块162的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

在此需要说明的是，本申请提供的上述装置，能够相应地实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

本申请实施例相应还提供一种电子设备，如图17所示，包括：收发器171、处理器172和存储器173；

处理器172执行存储器173存储的计算机执行指令，使得服务器执行上述实施例中的道路病害检测方案。处理器172可以是通用处理器，包括中央处理器CPU、网络处理器(network processor，NP)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器173通过系统总线与处理器172连接并完成相互间的通信，存储器173用于存储计算机程序指令。

收发器171可以用于实现通信数据的接收和发送，例如道路图像的发送和接收。

系统总线可以是外设部件互连标准(peripheral component interconnect，PCI)总线或扩展工业标准结构(extended industry standard architecture，EISA)总线等。系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。收发器用于实现数据库访问装置与其他计算机(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccess memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)。

在此需要说明的是，本申请提供的上述电子设备，能够相应地实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

本申请实施例相应还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现的道路病害检测方法。

在此需要说明的是，本申请提供的上述存储介质，能够相应地实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

请参照图18，本申请实施例还提供一种道路病害检测系统，如图18所示，包括智能车辆181、便携式图像采集终端182和云端平台183，其中，智能车辆181，用于执行上述实施例提供的道路病害检测方法；便携式图像采集终端182，用于获取智能车辆传输的曝光频率，并基于曝光频率采集道路图像，将道路图像传输至智能车辆和/或云端平台；云端平台183，其内置道路检测算法模型，用于接收智能车辆或者便携式图像采集终端传输的道路图像，并基于道路检测算法模型对道路图像进行病害检测识别。

在此需要说明的是，本申请提供的上述系统，能够相应地实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

本申请实施例相应还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行上述实施例提供的道路病害检测方法。

在此需要说明的是，本申请提供的上述计算机程序产品，能够相应地实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

本申请实施例相应还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，执行上述实施例提供的道路病害检测方法。

在此需要说明的是，本申请提供的上述芯片，能够相应地实现上述方法实施例中服务器所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例方法的部分步骤。

应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电控单元或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (16)

1.一种道路病害检测方法，其特征在于，包括：

基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率，并获取基于所述曝光频率所采集的道路图像；

根据所述道路图像对目标道路进行病害检测识别，得到道路病害检测结果，所述道路病害检测结果包括病害类型和病害位置；

基于预置的第一高精地图数据构建道路三维地理场景，并将所述道路病害检测结果叠加至所述道路三维地理场景中，以实现在所述道路三维地理场景中对所述道路病害检测结果进行可视化展示。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述曝光频率传输至便携式图像采集终端，以使所述便携式图像采集终端基于所述曝光频率采集道路图像，并获取所述便携式图像采集终端基于所述曝光频率所采集的道路图像；

其中，所述便携式图像采集终端包括工控模块，以及分别与所述工控模块电连接的图像采集模块、定位模块和电源模块；所述工控模块，用于获取确定的所述曝光频率，并控制所述图像采集模块基于所述曝光频率采集道路图像，并控制所述定位模块在所述图像采集模块采集道路图像时进行定位，使得所采集的道路图像携带定位信息，以及控制所述电源模块为所述图像采集模块和所述定位模块提供电源。

3.根据权利要求1所述的方法，其特征在于，所述基于所述道路图像对目标道路进行病害检测识别，包括：

将所述道路图像传输至配置道路检测算法模型的云端平台，使得所述云端平台基于所述道路检测算法模型对所述道路图像进行病害检测识别，以得到道路病害检测结果，所述道路病害检测结果包括病害类型和病害位置；

其中，所述道路检测算法模型是基于神经网络分割算法训练得到的，其包括分别用于检测不同病害类型的多个子模型，所述不同病害类型包括路面病害和沿线设施病害。

4.根据权利要求2所述的方法，其特征在于，所述便携式图像采集终端还包括与所述工控模块电连接的数据存储与传输模块，所述数据存储与传输模块，用于存储或者传输所述道路图像；

所述基于所述道路图像对目标道路进行病害检测识别，包括：调用所述便携式图像采集终端，将所述道路图像传输至配置道路检测算法模型的云端平台，使得所述云端平台基于所述道路检测算法模型对所述道路图像进行病害检测识别，以得到道路病害检测结果。

5.根据权利要求2所述的方法，其特征在于，所述便携式图像采集终端还包括吸盘，使得所述便携式图像采集终端吸附固定在所述车辆上，在所述车辆行车过程中采集所述道路图像。

6.根据权利要求2所述的方法，其特征在于，所述定位信息为经纬度信息；所述方法还包括：

将所述道路图像携带的经纬度信息转化为桩号信息，所述桩号信息用于标识病害的道路位置；

和/或，

基于所述道路图像携带的定位信息，获取与所述定位信息相匹配的预置的第一高精地图数据。

7.根据权利要求1所述的方法，其特征在于，所述道路病害检测结果中包含每帧的所述道路图像对应的第一病害检测信息；

在得到道路病害检测结果之后，以及将所述道路病害检测结果叠加至所述道路三维地理场景中之前，还包括：

检测每帧的所述道路图像对应的第一病害检测信息中是否存在重合的第一病害检测信息，若存在重合的第一病害检测信息，则对重合的第一病害检测信息进行去重处理，以得到最终的道路病害检测结果；

和/或，

检测每帧的所述道路图像对应的第一病害检测信息之间是否具有预置的关联特征，若具有所述关联特征，则对具有所述关联特征的第一病害检测信息进行合并，以得到最终的道路检测结果；

其中，所述具有关联特征至少包括以下情形之一：对应的第一病害检测信息是基于连续帧的道路图像检测到的；对应的第一病害检测信息是相同类型的病害；对应的第一病害检测信息之间相似度达到预设阈值。

8.根据权利要求1所述的方法，其特征在于，所述基于预置的第一高精地图数据构建道路三维地理场景，包括：

将所述目标道路对应的遥感影像按照不同的分辨率，构建多层级的栅格影像数据，并在预置的多尺度空间数据模型中，定位所有相应的栅格影像数据；其中，所述多尺度空间数据模型是基于地理空间数据库中的交通特征数据建立的；

基于定位后的多尺度空间数据模型和所述目标道路对应的高程数据构建地形模型场景；

将所述地形模型场景与所述第一高精地图数据进行融合，以构建道路三维地理场景。

9.根据权利要求8所述的方法，其特征在于，所述将所述地形模型场景与所述第一高精地图数据进行融合，包括：

将所述地形模型场景中的模拟道路分割为道路段，并基于所述第一高精地图数据中对应的道路数据，对所述道路段进行旋转处理，使所有的所述道路段拼接为与所述第一高精地图数据匹配的道路模型；

基于所述道路模型融合所述第一高精地图数据中除了所述道路数据的其它地图要素数据。

10.根据权利要求8所述的方法，其特征在于，所述道路三维地理场景为三角面片集合，所述方法还包括：

对构建的所述道路三维地理场景进行简化，以得到最终的道路三维地理场景；其中，简化方式包括简化所述道路三维地理场景的三角面片数量，和/或，设置所述道路三维地理场景的可见距离。

11.根据权利要求1-10任一项所述的方法，其特征在于，还包括：

基于所述道路病害检测结果，识别第二高精地图数据中对应的地图要素，并确定所述地图要素是否携带所述道路病害检测结果中对应的第二病害检测信息；

将所述地图要素中未携带对应第二病害检测信息的地图要素，作为待更新的地图要素；

基于所述待更新的地图要素和所述道路病害检测结果，确定用于更新第二高精地图数据的增量数据，以基于所述增量数据更新第二高精地图数据。

12.根据权利要求11所述的方法，其特征在于，所述预置的第一高精地图数据为经过更新后的所述第二高精地图数据。

13.一种道路病害检测装置，其特征在于，包括：

图像获取模块，其设置为基于当前车辆速度和预设曝光距离，确定用于采集道路图像的曝光频率，并获取基于所述曝光频率所采集的道路图像；

检测模块，其设置为根据所述道路图像对目标道路进行病害检测识别，得到道路病害检测结果，所述道路病害检测结果包括病害类型和病害位置；

三维展示模块，其设置为基于预置的第一高精地图数据构建道路三维地理场景，并将所述道路病害检测结果叠加至所述道路三维地理场景中，以实现在所述道路三维地理场景中对所述道路病害检测结果进行可视化展示。

14.一种电子设备，其特征在于，包括：存储器和处理器；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述电子设备执行权利要求1至12中任一项所述的道路病害检测方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至12中任一项所述的道路病害检测方法。

16.一种道路病害检测系统，其特征在于，包括智能车辆、便携式图像采集终端和云端平台，其中，

所述智能车辆，用于执行权利要求1至12中任一项所述的道路病害检测方法；

所述便携式图像采集终端，用于获取所述智能车辆传输的所述曝光频率，并基于所述曝光频率采集道路图像，将所述道路图像传输至所述智能车辆和/或所述云端平台；

所述云端平台，其内置道路检测算法模型，用于接收所述智能车辆或者所述便携式图像采集终端传输的所述道路图像，并基于所述道路检测算法模型对所述道路图像进行病害检测识别。