CN113706737A - 基于自动驾驶车辆的路面巡检系统及方法 - Google Patents

基于自动驾驶车辆的路面巡检系统及方法 Download PDF

Info

Publication number
CN113706737A
CN113706737A CN202111251788.XA CN202111251788A CN113706737A CN 113706737 A CN113706737 A CN 113706737A CN 202111251788 A CN202111251788 A CN 202111251788A CN 113706737 A CN113706737 A CN 113706737A
Authority
CN
China
Prior art keywords
road
data
state information
automatic driving
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111251788.XA
Other languages
English (en)
Other versions
CN113706737B (zh
Inventor
王里
张天雷
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuxian Technology Co Ltd
Original Assignee
Beijing Zhuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuxian Technology Co Ltd filed Critical Beijing Zhuxian Technology Co Ltd
Priority to CN202111251788.XA priority Critical patent/CN113706737B/zh
Publication of CN113706737A publication Critical patent/CN113706737A/zh
Application granted granted Critical
Publication of CN113706737B publication Critical patent/CN113706737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种基于自动驾驶车辆的路面巡检系统及方法，系统包括：云平台、自动驾驶模块和车载监测模块；自动驾驶模块用于根据目标道路的道路数据控制自动驾驶车辆；车载监测模块用于根据自动驾驶模块转发的道路数据以及预先存储的道路异常检测模型得到道路状态信息；云平台用于更新道路异常检测模型的模型参数，以使车载监测模块按照更新后的道路异常检测模型对道路数据进行处理，从而将更新后的道路状态信息发送至云平台进行处理，以及时得到路面巡检结果。这样一来，本申请可以在自动驾驶车辆实现自动驾驶的同时，实现路面的多种状况检测，在保证自动驾驶安全和稳定的情况下，提高对道路异常的检测能力。

Description

基于自动驾驶车辆的路面巡检系统及方法
技术领域
本申请涉及道路巡检技术领域，具体而言，涉及一种基于自动驾驶车辆的路面巡检系统及方法。
背景技术
目前，道路路面日常动态巡检能对道路病害进行预防性养护和修复性养护，同时可以及时发现道路恶劣气象和交通事件，并及时处置或者及时向附近的交通参与者进行发布，避免造成行车危险。早期道路巡检主要靠人工，由于人工巡检存在工作环境恶劣、效率低、频度低、漏检多等问题，因此，路面检测自动化技术受到了极大的关注。
当前，应用自动驾驶车辆进行道路巡检时，为了满足自动驾驶功能，传感器和计算平台都是按照自动驾驶的需求进行选型、布设和配置，这样直接用于路面巡检，可能会由于传感器和计算平台的配置不合适导致出现误检和漏检的问题；同时，在自动驾驶车辆的软件系统中直接加入路面检测的功能，可能与自动驾驶模块产生冲突，从而干扰自动驾驶模块的正常运行，影响车辆运行的安全性和稳定性。
因此，亟需要提供一种利用自动驾驶车辆进行路面巡检的方法。
发明内容
有鉴于此，本申请的目的在于提供一种基于自动驾驶车辆的路面巡检系统及方法，将自动驾驶模块与车载监测模块分离，在保证车辆自动驾驶功能的稳定的条件下，通过云平台对车载监测模块进行优化，利用不断更新的道路异常检测模型对道路数据进行监测得到道路状态信息，使得云平台可以根据车载监测模块反馈的道路状态信息，准确的得出异常的路面巡检结果，在保证车辆运行安全和稳定的条件下，提高对道路异常的检测能力。
第一方面，本申请实施例提供了一种基于自动驾驶车辆的路面巡检系统，包括：云平台、自动驾驶模块和车载监测模块；
所述自动驾驶模块，用于根据目标道路的道路数据控制自动驾驶车辆；其中，所述道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据；
所述车载监测模块，用于根据所述自动驾驶模块转发的道路数据中的视觉图像数据、点云数据和惯性数据确定道路特征向量，将所述道路特征向量输入到预先存储的道路异常检测模型，得到道路状态信息，其中，所述道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；将所述道路特征向量、所述位置数据和对应的道路状态信息发送给云平台；
所述云平台，用于根据所述道路特征向量、所述位置数据和对应的道路状态信息确定训练模型样本数据，并根据所述训练模型样本数据对所述道路异常检测模型继续训练，更新所述道路异常检测模型对应的模型参数；将更新后的道路异常检测模型对应的模型参数发送给所述车载监测模块；
所述车载监测模块，用于接收更新后的模型参数，根据所述更新后的模型参数更新车载监测模块中存储的道路异常检测模型；利用更新后的道路异常检测模型对所述道路数据继续进行处理，得到更新后的道路状态信息，并将所述更新后的道路状态信息发送给所述云平台；
所述云平台，用于对更新后的道路状态信息进行处理，得到路面巡检结果。
优选地，所述路面巡检系统还包括数据采集模块；所述数据采集模块用于采集目标道路的道路数据，并将采集到的道路数据发送至所述自动驾驶模块；其中，所述数据采集模块包括图像传感器、雷达传感器、惯性传感器和定位传感器；所述图像传感器用于采集目标道路的道路环境的视觉图像数据；所述雷达传感器用于采集目标道路的路面及障碍物的点云数据；所述惯性传感器用于采集表征自动驾驶车辆在目标道路上的运动状态的惯性数据；所述定位传感器用于采集自动驾驶车辆在目标道路上的位置数据。
优选地，所述车载监测模块，还用于将所述道路特征向量输入到预先存储的预检测模型得到道路状态检测信息；所述预检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的，所述道路状态检测信息包括紧急状态信息和非紧急状态信息，所述道路状态标签包括道路紧急状态标签和道路非紧急状态标签；若所述道路状态检测信息为非紧急状态信息，则将所述道路特征向量输入到预先存储的道路异常检测模型得到道路状态信息，并将得到的道路状态信息发送至所述云平台；
所述云平台，还用于对自动巡检车队中所有自动驾驶车辆的车载监测模块发送的道路状态信息进行处理，得到所述道路状态信息中针对目标路段的异常状态信息；若出现异常状态信息的自动驾驶车辆的数量大于预设数量阈值，则确定该目标路段的路面巡检结果为异常；其中，所述目标道路包括多个目标路段，所述自动巡检车队为不同时间在目标道路的固定路线行驶的多辆自动驾驶车辆。
优选地，所述车载监测模块，还用于当所述道路状态检测信息为紧急状态信息时，将所述道路状态信息发送给所述云平台；
所述云平台，还用于对所述道路状态信息进行人工审核，得到所述道路状态信息中针对目标路段的异常状态信息，并将所述异常状态信息发送至所述自动巡检车队中的其他自动驾驶车辆，以使其他自动驾驶车辆查找其是否存在与云平台发送的异常状态信息对应的道路状态信息；若存在，则不上传与云平台发送的异常状态信息对应的道路状态信息。
优选地，所述云平台还用于：获取预置时间段内道路位置数据相同，且道路状态信息相同的道路数据的数量；若所述道路数据的数量超过预置数量，则将数量超过预置数量的道路数据及对应的道路状态信息确定为训练模型样本数据。
优选地，所述道路状态信息至少包括下述中的一项：
路面病害信息、道路交通事件信息、气象环境信息。
优选地，所述路面巡检系统还包括公路养护系统和公路交通信息发布系统；所述公路养护系统，用于根据所述云平台发送的路面巡检结果生成公路养护方案；所述公路交通信息发布系统，用于根据所述云平台发送的路面巡检结果生成交通信息，并将所述交通信息发布给用户。
第二方面，本申请实施例提供了一种基于自动驾驶车辆的路面巡检方法，应用于自动驾驶车辆，所述路面巡检方法包括：
获取目标道路的道路数据；其中，所述道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据；
在利用目标道路的道路数据控制自动驾驶车辆行驶的过程中，根据所述视觉图像数据、所述点云数据和所述惯性数据确定道路特征向量，将所述道路特征向量输入到预先存储的道路异常检测模型，得到道路状态信息，其中，所述道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；
将所述道路特征向量、所述位置数据和对应的道路状态信息发送给云平台，使得所述云平台根据所述道路数据、所述位置数据和对应的道路状态信息确定训练模型样本数据，并根据所述训练模型样本数据对所述道路异常检测模型继续训练，更新所述道路异常检测模型对应的模型参数；
接收更新后的模型参数，根据所述更新后的模型参数更新预先存储的道路异常检测模型；
利用更新后的道路异常检测模型对所述道路数据进行处理，得到更新后的道路状态信息，并将所述道路状态信息发送给所述云平台，以使所述云平台根据更新后的道路状态信息确定路面巡检结果。
第三方面，本申请实施例提供了一种自动驾驶车辆，应用如上所述的路面巡检方法，所述自动驾驶车辆包括自动驾驶模块、车载监测模块和数据采集模块；
所述数据采集模块，用于采集目标道路的道路数据，并将采集到的道路数据发送至所述自动驾驶模块；其中，所述道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据；
所述自动驾驶模块，用于根据数据采集模块发送的道路数据控制自动驾驶车辆；
所述车载监测模块，用于根据自动驾驶模块转发的视觉图像数据、点云数据和惯性数据确定道路特征向量，将所述道路特征向量输入到预先存储的道路异常检测模型，得到道路状态信息，其中，所述道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；将所述道路特征向量、所述位置数据和对应的道路状态信息发送给云平台，使得所述云平台根据所述道路数据、所述位置数据和对应的道路状态信息确定训练模型样本数据，并根据所述训练模型样本数据对所述道路异常检测模型继续训练，更新所述道路异常检测模型对应的模型参数；接收更新后的模型参数，根据所述更新后的模型参数更新预先存储的道路异常检测模型；利用更新后的道路异常检测模型对所述道路数据进行处理，得到更新后的道路状态信息，并将所述道路状态信息发送给所述云平台，以使所述云平台根据更新后的道路状态信息确定路面巡检结果。
优选地，所述数据采集模块包括图像传感器、雷达传感器、惯性传感器和定位传感器；
其中，所述图像传感器包括多个摄像头，所述多个摄像头依次排列在自动驾驶车辆的车头正面；所述雷达传感器包括多个激光雷达、多个毫米波雷达和多个超声波雷达，所述多个激光雷达、所述多个毫米波雷达和所述多个超声波雷达依次排列在自动驾驶车辆的车头正面；所述惯性传感器和所述定位传感器设置在自动驾驶车辆的车头背面。
本申请实施例提供了一种基于自动驾驶车辆的路面巡检系统及方法，其中，系统包括：云平台、自动驾驶模块和车载监测模块；自动驾驶模块用于根据目标道路的道路数据控制自动驾驶车辆；车载监测模块用于根据自动驾驶模块转发的道路数据以及道路异常检测模型得到道路状态信息；云平台用于更新道路异常检测模型的模型参数，以使车载监测模块按照更新后的道路异常检测模型对道路数据进行处理，从而将更新后的道路状态信息发送至云平台进行处理，得到路面巡检结果。
这样一来，本申请将自动驾驶模块与车载监测模块分离，在保证车辆自动驾驶功能的稳定的条件下，通过云平台对车载监测模块进行优化，利用不断更新的道路异常检测模型对道路数据进行监测得到道路状态信息，使得云平台可以根据车载监测模块反馈的道路状态信息，准确的得出异常的路面巡检结果，在保证车辆运行安全和稳定的条件下，提高对道路异常的检测能力。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例所提供的一种路面巡检系统的结构示意图；
图2为本申请实施例所提供的一种建立道路异常检测模型的流程图；
图3为本申请实施例所提供的一种对道路异常检测模型进行完善优化的流程图；
图4为本申请实施例所提供的一种判断道路异常是否足以对交通安全产生影响的流程示意图；
图5为本申请实施例所提供的另一种路面巡检系统的结构示意图；
图6为本申请实施例提供的一种路面巡检方法的流程图；
图7为本申请实施例所提供的一种安装有数据采集模块的自动驾驶车辆的结构示意图；
图8、9、10为本申请实施例所提供的自动驾驶车辆的水平视野示意图；
图11为本申请实施例所提供的一种自动驾驶车辆上的自动驾驶模块和车载监测模块设置的结构示意图。
附图标记：1-自动驾驶车辆；2-自动驾驶模块；3-车载监测模块；4-云平台；5-激光雷达；6-摄像头；7-超声波雷达；8-IMU惯性传感器；9-道路检测区域；10- GNSS全球卫星导航系统；11-毫米波雷达。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。
首先，对本申请可适用的应用场景进行介绍。本申请可应用于通过自动驾驶车辆对道路状况进行日常动态巡检。日常巡查对于保障道路的使用质量，改善交通环境也是非常必要的。一是可以及时清除道路隐患，如路面裂缝、交通标志标线磨损、遮挡等；二是发现道路异常环境，如积水等，可以第一时间通知道路养护部门进行处理。定期对沿线设施安全排查，确保设施完好、标志标线清晰、醒目和准确。以上对保障道路的使用质量和改善交通环境有着非常大的现实意义。
现有的利用自动驾驶汽车对道路路面巡检方法多是在自动驾驶汽车的自动驾驶系统里集成道路监测系统，二者共用一套硬件系统。在对用于道路监测的自动驾驶车辆进行设计时，多是在自动驾驶车辆的传感器和自动驾驶计算平台上做出改造，将车载监测模块嵌入到自动驾驶计算平台后直接用于路面巡检，这将存在较大的误检和漏检问题；同时，在自动驾驶车辆的软件系统中直接加入路面检测的功能，可能与自动驾驶模块产生冲突从而干扰自动驾驶模块的正常运行，影响车辆运行的安全性和稳定性。
同时，利用车辆端单独的监测模块，对道路异常的识别能力无法自我优化，难以应付日趋复杂的道路异常情况。基于此，本申请实施例提供了一种基于自动驾驶车辆的路面巡检系统及方法，以增强对道路病害的识别能力，降低对道路异常的误判概率。
请参阅图1，图1为本申请实施例所提供的一种路面巡检系统的结构示意图。如图1中所示，本申请实施例提供的路面巡检系统，包括：云平台4、自动驾驶车辆1，每辆自动驾驶车辆1上部署有自动驾驶模块2以及车载监测模块3。
这里，自动驾驶模块2与车载监测模块3为了防止软件冲突，从而干扰自动驾驶模块2的正常运行，分别采用独立的车载计算平台，在现有的自动驾驶计算平台的基础上级联同类型的计算平台硬件，用于路面状况检测软件的运行；自动驾驶模块2与车载监测模块3复用数据采集模块，如摄像头、激光雷达、毫米波雷达、组合导航传感器等；其中，自动驾驶模块2利用数据采集模块采集道路数据来实现自动驾驶；车载监测模块3利用自动驾驶模块2转发的道路数据来监测道路异常。其中，自动驾驶车辆与云平台间通过无线连接。
这里，由于车载监测模块的实时性要求低于自动驾驶模块，感知数据的采集存储以及与云平台的数据传输都以自动驾驶模块为第一优先级。
具体地，自动驾驶模块根据目标道路的道路数据控制自动驾驶车辆；其中，道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据。
该步骤中，目标道路为路政部门需要进行道路巡检的路段，可以预先对自动驾驶车队的巡检路线进行规划。
作为一种优选的实施例，路面巡检系统还包括数据采集模块，数据采集模块用于采集目标道路的道路数据，并将采集到的道路数据发送至自动驾驶模块；数据采集模块包括图像传感器、雷达传感器、惯性传感器和定位传感器；
其中，图像传感器用于采集目标道路的道路环境的视觉图像数据这里，道路环境为目标道路所处场景的整体环境，包括路面环境、交通设施状况、路面物体状况等。这里的视觉图像数据包括：路面场景图像数据、交通标示牌图像数据、气象图像数据等。视觉图像数据在标注后作为道路异常检测模型的训练数据。这里，用道路状态标签对视觉图像数据进行分类与标注，道路状态标签可以为道路状态信息所包含的路面病害信息、道路交通事件信息和异常气象环境信息等。
雷达传感器用于采集目标道路的路面及障碍物的点云数据，示例性的，自动驾驶车辆可以通过三维激光雷达传感器扫描周围环境得到原始三维点云数据，在对扫描范围内每一个空间点进行扫描之后，可以获得多个包含空间点三维坐标的三维数据点，将这些数据点与每一点返回的脉冲的强度组合起来，则可以获得三维点云数据。
同时，因为激光雷达信号在不同介质中的反射特征不同，利用激光雷达信号在冰、水、雪等路面的反射特征，以及激光雷达信号在团雾时空间大气中的反射特征，判断是否存在大雾、冰雪路面等异常气象环境。
惯性传感器用于采集表征自动驾驶车辆在目标道路上的运动状态的惯性数据；该惯性传感器可以为惯性测量单元IMU；利用IMU的实时三维加速度值判断车辆是否做上下起伏运动，将上下起伏的数值记录下来作为惯性数据。
定位传感器用于采集自动驾驶车辆在目标道路上的位置数据。这里的定位传感器可以为GPS、GNSS全球卫星导航系统等；其中，自动驾驶车辆的位置数据可以由定位传感器实时获取，用于与自动驾驶车辆获取的视觉图像数据、点云数据以及惯性数据绑定，确定道路异常的具体位置信息。
车载监测模块，用于根据自动驾驶模块转发的道路数据中的视觉图像数据、点云数据和惯性数据确定道路特征向量；
该步骤中，自动驾驶车辆在得到传感器采集到的视觉图像数据、点云数据和惯性数据之后，分别利用上述数据构建矩阵，然后再基于构建出的矩阵求解生成不同道路数据对应的特征向量，即根据视觉图像数据生成视觉图像特征向量，根据点云数据生成激光点云特征向量，根据惯性数据生成惯性特征向量。
然后，车载监测模块将道路特征向量输入到预先存储的道路异常检测模型中，得到道路状态信息，其中，道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；并将道路特征向量、位置数据和对应的道路状态信息发送给云平台。
这里，道路状态标签为对道路异常进行的分类信息，可以包含路面病害信息、道路交通事件信息和异常气象环境信息等，如坑槽、拥包、裂缝、跳车、交通标志标线磨损或遮挡、凝冰、积雪、积水、团雾障碍物、拥堵、事故、逆行以及施工等。样本道路特征向量包括根据视觉图像数据样本、点云数据样本和惯性数据样本确定出的道路特征向量，包括样本视觉图像特征向量、样本激光点云特征向量和样本惯性特征向量。
该步骤中，道路异常检测模型为预先训练好的深度学习模型；车载监测模块随后将道路特征向量、位置数据和对应的道路状态信息通过无线传输方式发送给云平台。
本发明实施例中，预先训练好的深度学习模型可以是深度神经网络模型、卷积神经网络模型等。该深度学习模型是由道路数据所确定的特征向量及对应的道路状态标签进行训练之后得到。
示例性的，请参阅图2，图2为本申请实施例所提供的一种建立道路异常检测模型的流程图。如图2中所示，本申请实施例提供的建立道路异常检测模型的具体步骤，包括：
S1031、深度学习模型建立。
该步骤中，在云平台中为每一类道路状态信息建立一个深度学习模型框架。具体的，以检测类深度学习为模型库，包括YOLO系列的深度网络、ResNet全卷积神经网络等，这些模型不仅学习速度快，而且精度高，更加适合对采集的道路病害数据进行分析。
S1032、数据采集与标注。
该步骤中，以自动驾驶车辆采集的数据为主，以人工模拟的道路数据为辅，通过多源渠道采集各种道路数据，道路数据包括道路环境的视觉图像数据、点云数据、惯性数据，对数据进行清洗，去掉无效数据以及重复数据，确定特征向量，并用道路状态标签进行标注，道路状态标签为道路状态信息所包含的路面病害信息、道路交通事件信息、异常气象环境信息。
自动驾驶车辆进行路面异常检测的原理如表1所示：
Figure T_211014164248093_093361001
表1. 自动驾驶车辆进行道路异常检测的原理
具体的，路面病害信息包括：路面坑槽、路面拥包、路面裂缝、跳车以及交通标志标线磨损、遮挡。
针对上述路面病害信息，获取视觉图像特征向量以及惯性特征向量，具体方法为：对于图像传感器采集的图片，分割出病害可能出现的候选区域框、对每个框利用深度学习提取图像特征向量。
对于拥包与跳车，因为二者图像特征不明显，主要依靠惯性传感器的三维加速度值进行判断，所以可以同时提取拥包与跳车的图像特征向量以及二者的惯性特征向量；
道路交通事件信息包括：障碍物、交通拥堵、交通事故、逆行以及施工。
针对上述道路交通事件信息中的交通事故、逆行、施工以及障碍物，提取视觉图像特征向量以及激光点云特征向量，将视觉图像特征向量与激光雷达点云特征向量融合并在基于深度学习的道路异常检测模型中进行分析比对，判断出自动驾驶车辆前方的异常情形属于上述哪种情形，比如，通过视觉图像识别施工警示标志，判断前方是否在进行施工；通过视觉图像检测出本车周围及前方车辆的数量，用于表征当前拥堵特征，同时依靠自身的速度计数据和目标车辆的图像数据来量化，判断道路是否存在拥堵；通过视觉图像与激光雷达的融合形成三维图像，检测出障碍物具体对哪条车道产生影响，同时给出障碍物类型和大小。其中，异常气象环境信息包括：凝冰、积雪、积水以及雾团；
针对上述异常气象环境信息，通过图像传感器分辨出路面冰、水、雪、雾的视觉图像特征向量，但由于误差较大，需要配合激光雷达检测数据，提取激光雷达在冰、水、雪时的路面反射特征和团雾时空间大气的反射特征向量。
S1033、模型训练。这里，以样本道路特征向量（样本视觉图像特征向量、样本激光点云特征向量和样本惯性特征向量）为输入数据，以每个样本道路特征向量对应的道路状态标签（路面病害信息、道路交通事件信息和异常气象环境信息）为输出数据，对预先构建好的深度学习模型进行训练，经过不断的迭代，直至模型对道路异常的识别率达到设定的目标值，确定道路异常检测模型训练完成。
S1034、下发深度学习模型至自动驾驶车辆。将深度学习模型剪枝后下载到所有自动驾驶车辆的嵌入式计算平台中。
自动驾驶车辆将道路特征向量输入到预先存储的上述道路异常检测模型得到道路状态信息，道路状态信息至少包括路面病害信息、道路交通事件信息以及气象环境信息中的一种。
接着，云平台根据道路特征向量、位置数据和对应的道路状态信息确定训练模型样本数据，并根据训练模型样本数据对道路异常检测模型继续训练，更新道路异常检测模型对应的模型参数；将更新后的道路异常检测模型对应的模型参数发送给车载监测模块。
该步骤中，自动驾驶车辆将确定的道路状态信息连同确定该道路状态信息的道路特征向量、位置数据上传给云平台。
这里，自动驾驶车辆与云平台之间的通讯利用蜂窝远程通信网络或者C-V2X交通专网；对于影响交通安全的紧急检测结果，如路面凝冰、路面障碍物等，应保证上传的实时性；而对于非紧急的检测结果，如路面上的小型病害，则可以在检测完的一段时间内，如24小时或48小时之内上传云平台即可。
请参阅图3，图3为本申请实施例所提供的一种对道路异常检测模型进行完善优化的流程图。如图3中所示，对道路异常检测模型进行完善优化的步骤，包括：
S1041、数据审核。云平台在接收到自动驾驶车辆发送的道路特征向量、位置数据和对应的道路状态信息后，对单车数据进行审核，利用平台部署的不同类异常检测所对应的不同深度学习模型对自动驾驶车辆上报的各类道路特征向量、位置数据和对应的道路状态信息进行自动审核。丢弃掉重复数据，修正错误检测数据。
S1042、统计分析。首先对所有自动驾驶车辆的上报信息进行处理，获取预置时间内道路位置数据相同，且道路状态信息相同的道路数据的数量；若道路数据的数量超过预置数量，则认为确实存在该种异常，将数量超过预置数量的道路数据及对应的道路状态信息确定为训练模型样本数据；若道路数据的数量没有超过预置数量，则认为不存在该种异常。对于可动态变化的异常，如障碍物、团雾等路面异常，如果距离该检测结果的检测时间大于预置时间，两辆以上自动驾驶车辆经过该位置但没有上报相同的异常，则认为该异常消失。动态异常的出现和消失都要及时上报云平台，经云平台上报给相应的业务系统，这里的业务系统可以是公路道路养护系统以及公路交通信息发布系统。
S1043、完善道路异常检测模型。依据道路状态标签对训练模型样本数据进行分类与标注，将标注好的训练模型样本数据对每一个深度学习模型进行训练，训练方法如步骤S1033所描述，得到道路异常检测模型对应的模型参数。
这里，云平台获取预置时间段内道路位置数据相同，且道路状态信息相同的道路数据的数量；其中，预置时间的长度可依据实际情况确定。
若道路数据的数量超过预置数量，则将数量超过预置数量的道路数据及对应的道路状态信息确定为训练模型样本数据。其中，预置数量数值可以根据对准确率的需求，自行设定，设定的数量越多，样本选取越准确。
这样，可以提高道路数据样本的准确度，防止错误的道路数据成为模型训练样本，降低模型的精确度。
车载监测模块接收更新后的模型参数，根据更新后的模型参数更新车载监测模块中存储的道路异常检测模型；利用更新后的道路异常检测模型对道路数据继续进行处理，得到更新后的道路状态信息，并将更新后的道路状态信息发送给云平台。
该步骤中，自动驾驶车辆接收云平台发送的模型参数，模型参数可以先经剪枝后再下发到自动驾驶车辆端，用接收到的模型参数对预先存储的道路异常检测模型进行更新，并将以提高道路异常检测模型对道路病害的识别能力。
最后，云平台对更新后的道路状态信息进行处理，得到路面巡检结果。
这里，云平台可以对接收到的信息进行人工审核与筛选，形成高质量的路面巡检结果。
在本申请实施例中，作为一种优选的实施例，在将道路特征向量输入到预先存储的道路异常检测模型得到道路状态信息之前，可以判断道路异常是否足以对交通安全产生影响，请参阅图4，图4为本申请实施例所提供的一种判断道路异常是否足以对交通安全产生影响的流程示意图，如图4中所示：
车载监测模块将道路特征向量输入到预先存储的预检测模型得到道路状态检测信息。
这里，预检测模型是根据样本道路特征向量及对应的紧急状态标签训练得到的；预检测模型的训练方式与道路异常检测模型的训练方式相同；其中，这里的道路状态检测信息包括紧急状态信息和非紧急状态信息，道路状态标签包括道路紧急状态标签和道路非紧急状态标签；紧急状态标签指的是足以对交通安全产生影响的道路状态信息，如路面凝冰、路面塌陷等，但需保证上传的实时性；非紧急状态标签指的是不会立刻对交通安全产生影响的道路状态信息，如路面上的小型病害等，只需要在检测完的一段时间内（如24小时或48小时之内）上传云平台即可。
本申请通过预检测模型对道路特征向量的处理，得到非紧急状态信息与紧急状态信息；其中，被预检测模型判定为被足以对交通安全产生影响的道路状态信息为紧急状态信息，其余的道路状态信息则为非紧急状态信息。
若道路状态检测信息为非紧急状态信息，则将道路特征向量输入到预先存储的道路异常检测模型得到道路状态信息，并将得到的道路状态信息发送至云平台。
随后，云平台对自动巡检车队中所有自动驾驶车辆的车载监测模块发送的道路状态信息进行处理，得到道路状态信息中针对目标路段的异常状态信息；若出现异常状态信息的自动驾驶车辆的数量大于预设数量阈值，则确定该目标路段的路面巡检结果为异常。其中，预设数量阈值为自动巡检车队中所有自动驾驶车辆数量的三分之一。
示例性的，平台对所有自动驾驶车辆的上报信息进行处理，提取出该目标道路的全部异常及相应的位置；轮询每个异常的位置，统计一定时间段内经过该位置的全部自动驾驶车辆数。对于每一个位置的每一个异常，如果超过三分之一（这里具体的数值可以根据对准确率的需求，自行设定）的车辆数上报该位置存在某种异常，认为该位置确实存在该种异常；如果不到三分之一的车辆数上报该位置存在某种异常，则认为该位置不存在该种异常。
其中，上文所述的目标道路可以包括多个目标路段，目标路段表示在目标道路上出现异常的位置，自动巡检车队为不同时间在目标道路的固定路线行驶的多辆自动驾驶车辆。自动巡检车队的车辆间隔时间可以根据实际情况确定，间隔时间越短，确认道路异常的时间越快。
若道路状态检测信息为紧急状态信息，则将道路状态信息发送给云平台；云平台在得到道路状态信息后对其进行人工审核，得到道路状态信息中针对目标路段的异常状态信息，并将异常状态信息发送至自动巡检车队中的其他自动驾驶车辆，以使其他自动驾驶车辆查找其是否存在与云平台发送的异常状态信息对应的道路状态信息；若存在，则不上传与云平台发送的异常状态信息对应的道路状态信息。
在本步骤中，预检测模型将道路特征向量判定为足以对交通安全产生影响的道路状态信息，自动驾驶车辆将此紧急状态信息立即发送给云平台，云平台可以对紧急状态信息进行人工审核，将其确认为足以对交通安全产生影响的道路异常后，发送给相应的应急处理部门。
这里，路面巡检系统还包括公路养护系统和公路交通信息发布系统；公路养护系统根据云平台发送的路面巡检结果生成公路养护方案；公路交通信息发布系统根据云平台发送的路面巡检结果生成交通信息，并将交通信息发布给用户。
示例性的，若道路状态检测信息为紧急状态信息时，将云平台根据道路状态信息生成的异常状态信息发送给自动巡检车队中的其他自动驾驶车辆，使得其他自动驾驶车辆查找其是否存在与云平台发送的异常状态信息对应的道路状态信息，若存在，则不上传与云平台发送的异常状态信息对应的道路状态信息；若不存在，则其他自动驾驶车辆正常上传道路数据。
这里，本自动驾驶车辆和其他自动驾驶车辆通过道路数据中的位置数据确定异常位置，其他自动驾驶车辆通过道路数据中的视觉图像数据、点云数据以及惯性数据与本自动驾驶车辆在同一位置所采集到的道路数据作比较，判断其他自动驾驶车辆中是否存在与云平台发送的异常状态信息对应的异常信息。
若其他自动驾驶车辆发现其自身存在与云平台发送的异常状态信息对应的道路状态信息，则不再把相同的道路状态信息发送给云平台，以减小云平台的工作量，减小运算压力。
若其他自动驾驶车辆不存在与云平台发送的异常状态信息对应的道路状态信息，则其他自动驾驶车辆将自身确定出的道路状态信息发送给云平台，使得云平台根据其他自动驾驶车辆发送的道路状态信息继续确定目标路段的异常状态信息。
本申请实施例提供的基于自动驾驶车辆的路面巡检方法，对道路病害的识别能力强，与现有技术中的单纯的对传感器搜集的数据设定预设阈值，通过判断传感器数据是否超过阈值来判断道路的路面病害情况的方法相比，本申请基于多辆自动驾驶车辆采集道路数据，经过道路异常检测模型对采集的道路数据进行分析，得到道路状态信息，以此来分析道路是否存在道路异常，其中，道路异常检测模型可以通过云平台上获取的道路数据、位置数据和对应的道路状态信息不断优化和更新，进而不断提升道路异常检测模型对道路异常的识别能力，以更好的完成对道路路面的日常巡检工作，满足日渐复杂的道路巡检工作对病害识别能力的要求。
示例性的，请参阅图5，图5为本申请实施例所提供的另一种路面巡检系统的结构示意图，以自动驾驶车辆为自动驾驶重卡为例，包括：多个自动驾驶重卡以及自动驾驶重卡云平台，自动驾驶重卡与自动驾驶重卡云平台无线通信连接，无线通信连接方式可以是蜂窝移动公网通信（如4G/5G）+ C-V2X交通专网通信（PC5/Uu）的方式。自动驾驶重卡云平台与公路养护系统、公路交通信息发布系统连接，及时向二者发送道路状况相关数据（包括目标路段的异常状态信息）。
这里，自动驾驶重卡设有自动驾驶模块2和车载监测模块3，车载监测模块3中设有道路异常检测模型，道路异常检测模型可以将检测到的路面状态信息全部存储在自动驾驶重卡中；并且利用蜂窝远程通信网络或者C-V2X交通专网，将检测到的路面状态信息全部上传到自动驾驶重卡云平台。对于影响交通安全的紧急检测结果，如路面凝冰、路面障碍物等，应保证上传的实时性；而对于非紧急的检测结果，如路面上的小型病害，则可以在检测完的一段时间内（如24小时或48小时之内）上传云平台即可。
检测结果数据量的大小将影响到上传的及时性和费用。如果单车检测结果数据量与要求上传完成时间之比大于无线通信网络带宽，则所要求的上传完成时间无法保证；另外检测结果数据量太大，也会带来较高的通信成本。
为了保证上传到云平台的路面图像既可以人工分辨出异常，也可以由检测模型分辨出异常，且结合当前自动驾驶车辆车载摄像头的技术指标，图片的分辨率应大于1280*720，则每个图片的文件大小约为1MB左右。在一个检测结果的数据组成中，图片数据占比极高，可以用图片数据进行如下数据量估算：
若平均每100 m出现一个路面异常，则每公里有10张图片需要存储和传输。那么每公里平均数据量约为10 MB/km。假设对于一辆重卡，每日行程1000km，有效检测路面500km，则每日数据量约为5GB，每月数据量约为150GB。按照2021年通信运营商4G资费标准（5元/GB），则每月流量费用为750元。由于非紧急检测数据不需要实时上传，允许有短时间的延迟（如24小时传完），传输速率在5GB/24小时即可，需要蜂窝移动公网或者C-V2X交通专网提供58kB/s的传输速率。从传输速率来看，对网络带宽要求较低，符合公网和专网的实际应用情况。从月流量资费来看，可以通过为公路运营方提供数据服务或者路面检测服务进行成本回收甚至盈利。
本申请实施例提供的路面巡检系统，将自动驾驶模块与车载监测模块在硬件上部分分离部署，相较于现有的在自动驾驶汽车的自动驾驶系统里集成道路监测系统，二者共用一套硬件系统的方式来说，避免了道路监测系统与自动驾驶模块产生冲突从而干扰自动驾驶模块的正常运行的情况发生，从而保证了车辆运行的安全性和稳定性。具体地，将自动驾驶模块与车载监测模块分离，在保证车辆自动驾驶功能的稳定的条件下，通过云平台对车载监测模块进行优化，利用不断更新的道路异常检测模型对道路数据进行监测得到道路状态信息，使得云平台可以根据车载监测模块反馈的道路状态信息，准确的得出异常的路面巡检结果，在保证车辆运行安全和稳定的条件下，提高对道路异常的检测能力。
基于同一发明构思，本申请实施例还提供了一种与路面巡检系统对应的路面巡检方法，应用于自动驾驶车辆。请参阅图6，图6为本申请实施例提供的一种路面巡检方法的流程图。如图6所示，该路面巡检方法包括：
S610、获取目标道路的道路数据；其中，道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据；
S620、在利用目标道路的道路数据控制自动驾驶车辆行驶的过程中，根据视觉图像数据、点云数据和惯性数据确定道路特征向量，将道路特征向量输入到预先存储的道路异常检测模型，得到道路状态信息，其中，道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；
S630、将道路特征向量、位置数据和对应的道路状态信息发送给云平台，使得云平台根据道路数据、位置数据和对应的道路状态信息确定训练模型样本数据，并根据训练模型样本数据对道路异常检测模型继续训练，更新道路异常检测模型对应的模型参数；
S640、接收更新后的模型参数，根据更新后的模型参数更新预先存储的道路异常检测模型；
S650、利用更新后的道路异常检测模型对道路数据进行处理，得到更新后的道路状态信息，并将道路状态信息发送给云平台，以使云平台根据更新后的道路状态信息确定路面巡检结果。
由于本申请实施例中的路面巡检方法解决问题的原理以及具体实施方式，能够产生的技术效果与上述路面巡检系统相同，针对该路面巡检方法的描述请参见上述针对路面巡检系统的描述，重复内容不再赘述。
基于同一发明构思，本申请实施例中还提供了与路面巡检方法对应的自动驾驶车辆，优选为重型卡车，将不同时间运行的具有固定线路的多辆自动驾驶车辆形成自动巡检车队；该自动巡检车队中的任一自动驾驶车辆均在自动驾驶系统的基础上加入道路状态分析系统，其中，自动驾驶车辆包括自动驾驶模块、车载监测模块和数据采集模块。
自动驾驶模块，用于根据数据采集模块发送的道路数据控制自动驾驶车辆。
数据采集模块，用于采集目标道路的道路数据，并将采集到的道路数据分别发送至自动驾驶模块和车载监测模块；其中，道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据；
车载监测模块，用于根据自动驾驶模块转发的视觉图像数据、点云数据和惯性数据确定道路特征向量，将道路特征向量输入到预先存储的道路异常检测模型，得到道路状态信息，其中，道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；将道路特征向量、位置数据和对应的道路状态信息发送给云平台，使得云平台根据道路数据、位置数据和对应的道路状态信息确定训练模型样本数据，并根据训练模型样本数据对道路异常检测模型继续训练，更新道路异常检测模型对应的模型参数；接收更新后的模型参数，根据更新后的模型参数更新预先存储的道路异常检测模型；利用更新后的道路异常检测模型对道路数据进行处理，得到更新后的道路状态信息，并将道路状态信息发送给云平台，以使云平台根据更新后的道路状态信息确定路面巡检结果。
示例性的，图7为本申请实施例所提供的一种安装有数据采集模块的自动驾驶车辆的结构示意图，数据采集模块如图7所示，本申请实施例以安装在自动驾驶车辆的车头正面的数据采集模块为例。后向感知的传感器也会根据需求进行布设，但安装在自动驾驶车辆的车头背面的数据采集模块在图中未示出。
具体地，数据采集模块包括图像传感器、雷达传感器、惯性传感器和定位传感器；这里，图像传感器包括多个摄像头，多个摄像头依次排列在自动驾驶车辆的车头正面，这里，车头面向自动驾驶车辆前进方向的一面为车头的正面。
雷达传感器包括多个激光雷达、多个毫米波雷达和多个超声波雷达，多个激光雷达、多个毫米波雷达和多个超声波雷达依次排列在自动驾驶车辆的车头正面；
惯性传感器和定位传感器设置在自动驾驶车辆的车头背面。
本申请实施例中，通常在自动驾驶车辆的车头上安装有激光雷达5、毫米波雷达11、超声波雷达7、摄像头6，以及GNSS全球卫星导航系统10与IMU惯性传感器8组成的组合定位模块；传感器系统的检测范围构成道路检测区域9。
这里，自动驾驶模块和车载监测模块复用激光雷达5、毫米波雷达11、超声波雷达7、摄像头6，以及GNSS全球卫星导航系统10与IMU惯性传感器8组成的组合定位模块，不仅可以提高自动驾驶车辆的硬件利用率，还可以减少传感器等硬件的使用数量，节约成本。
具体地，图8、9、10为本申请实施例所提供的自动驾驶车辆的水平视野示意图，自动驾驶车辆上的传感器不仅能够为自动驾驶进行交通环境目标感知检测，也能够通过图像传感器、激光雷达、IMU等传感器检测出公路路面出现的异常状况。图8中，实线分别为远、中、近三个前向图像传感器视野，虚线为两个侧方图像传感器视野；图10中，图像传感器和激光雷达的水平视野叠加，虚线为侧向感知。
这里，自动驾驶模块与车载监测模块在物理上分离，分别采用独立硬件系统，以防止发生软件冲突的情况；请参阅图11，图11为本申请实施例所提供的一种自动驾驶车辆上的自动驾驶模块和车载监测模块设置的结构示意图，其中，自动驾驶模块与车载监测模块对车载传感器系统进行复用，这里的车载传感器系统包括位置传感器、图像传感器以及激光雷达传感器，上述三种传感器与自动驾驶模块通信连接；车载传感器系统将采集的道路数据发送给自动驾驶模块，以实现自动驾驶功能，随后自动驾驶模块将道路数据通过以太网交换设备发送给车载监测模块，以生成道路状态信息；上述以太网交换机分别与自动驾驶模块、车载监测模块、预先存储设备以及通信模块连接，其中通信模块可以是C-V2X通信模块或者4G/5G通信模块或者本地存储设备，预先存储设备用于存储车载传感器系统采集的道路数据以及道路异常信息检测系统生成的道路状态信息。自动驾驶车辆与云平台之间通过4G/5G蜂窝远程通信网络或者C-V2X交通专网进行通讯，云平台下发的数据以及车载传感器系统采集的道路数据优先发送给自动驾驶模块，然后再发送给车载监测模块。
本申请提供的自动驾驶车辆，与现有的人工检测车相比，融合了自动驾驶与道路检测，可以有效降低道路检测工作的人工成本，提升道路检测的工作效率，同时，自动驾驶模块与车载监测模块在物理上分离，可以有效避免软件冲突的情况发生，提高检测工作的安全性。
最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于自动驾驶车辆的路面巡检系统，其特征在于，所述路面巡检系统包括：云平台、自动驾驶模块和车载监测模块；
所述自动驾驶模块，用于根据目标道路的道路数据控制自动驾驶车辆；其中，所述道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据；
所述车载监测模块，用于根据所述自动驾驶模块转发的道路数据中的视觉图像数据、点云数据和惯性数据确定道路特征向量，将所述道路特征向量输入到预先存储的道路异常检测模型，得到道路状态信息，其中，所述道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；将所述道路特征向量、所述位置数据和对应的道路状态信息发送给云平台；
所述云平台，用于根据所述道路特征向量、所述位置数据和对应的道路状态信息确定训练模型样本数据，并根据所述训练模型样本数据对所述道路异常检测模型继续训练，更新所述道路异常检测模型对应的模型参数；将更新后的道路异常检测模型对应的模型参数发送给所述车载监测模块；
所述车载监测模块，用于接收更新后的模型参数，根据所述更新后的模型参数更新车载监测模块中存储的道路异常检测模型；利用更新后的道路异常检测模型对所述道路数据继续进行处理，得到更新后的道路状态信息，并将所述更新后的道路状态信息发送给所述云平台；
所述云平台，用于对更新后的道路状态信息进行处理，得到路面巡检结果。
2.根据权利要求1所述的路面巡检系统，其特征在于，所述路面巡检系统还包括数据采集模块；
所述数据采集模块用于采集目标道路的道路数据，并将采集到的道路数据发送至所述自动驾驶模块；
其中，所述数据采集模块包括图像传感器、雷达传感器、惯性传感器和定位传感器；
所述图像传感器用于采集目标道路的道路环境的视觉图像数据；
所述雷达传感器用于采集目标道路的路面及障碍物的点云数据；
所述惯性传感器用于采集表征自动驾驶车辆在目标道路上的运动状态的惯性数据；
所述定位传感器用于采集自动驾驶车辆在目标道路上的位置数据。
3.根据权利要求1所述的路面巡检系统，其特征在于，
所述车载监测模块，还用于将所述道路特征向量输入到预先存储的预检测模型得到道路状态检测信息；所述预检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的，所述道路状态检测信息包括紧急状态信息和非紧急状态信息，所述道路状态标签包括道路紧急状态标签和道路非紧急状态标签；若所述道路状态检测信息为非紧急状态信息，则将所述道路特征向量输入到预先存储的道路异常检测模型得到道路状态信息，并将得到的道路状态信息发送至所述云平台；
所述云平台，还用于对自动巡检车队中所有自动驾驶车辆的车载监测模块发送的道路状态信息进行处理，得到所述道路状态信息中针对目标路段的异常状态信息；若出现异常状态信息的自动驾驶车辆的数量大于预设数量阈值，则确定该目标路段的路面巡检结果为异常；其中，所述目标道路包括多个目标路段，所述自动巡检车队为不同时间在目标道路的固定路线行驶的多辆自动驾驶车辆。
4.根据权利要求3所述的路面巡检系统，其特征在于，
所述车载监测模块，还用于当所述道路状态检测信息为紧急状态信息时，将所述道路状态信息发送给所述云平台；
所述云平台，还用于对所述道路状态信息进行人工审核，得到所述道路状态信息中针对目标路段的异常状态信息，并将所述异常状态信息发送至所述自动巡检车队中的其他自动驾驶车辆，以使其他自动驾驶车辆查找其是否存在与云平台发送的异常状态信息对应的道路状态信息；若存在，则不上传与云平台发送的异常状态信息对应的道路状态信息。
5.根据权利要求1所述的路面巡检系统，其特征在于，所述云平台还用于：
获取预置时间段内道路位置数据相同，且道路状态信息相同的道路数据的数量；
若所述道路数据的数量超过预置数量，则将数量超过预置数量的道路数据及对应的道路状态信息确定为训练模型样本数据。
6.根据权利要求1所述的路面巡检系统，其特征在于，所述道路状态信息至少包括下述中的一项：
路面病害信息、道路交通事件信息、气象环境信息。
7.根据权利要求1所述的路面巡检系统，其特征在于，所述路面巡检系统还包括公路养护系统和公路交通信息发布系统；
所述公路养护系统，用于根据所述云平台发送的路面巡检结果生成公路养护方案；
所述公路交通信息发布系统，用于根据所述云平台发送的路面巡检结果生成交通信息，并将所述交通信息发布给用户。
8.一种基于自动驾驶车辆的路面巡检方法，其特征在于，应用于自动驾驶车辆，所述路面巡检方法包括：
获取目标道路的道路数据；其中，所述道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据；
在利用目标道路的道路数据控制自动驾驶车辆行驶的过程中，根据所述视觉图像数据、所述点云数据和所述惯性数据确定道路特征向量，将所述道路特征向量输入到预先存储的道路异常检测模型，得到道路状态信息，其中，所述道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；
将所述道路特征向量、所述位置数据和对应的道路状态信息发送给云平台，使得所述云平台根据所述道路数据、所述位置数据和对应的道路状态信息确定训练模型样本数据，并根据所述训练模型样本数据对所述道路异常检测模型继续训练，更新所述道路异常检测模型对应的模型参数；
接收更新后的模型参数，根据所述更新后的模型参数更新预先存储的道路异常检测模型；
利用更新后的道路异常检测模型对所述道路数据进行处理，得到更新后的道路状态信息，并将所述道路状态信息发送给所述云平台，以使所述云平台根据更新后的道路状态信息确定路面巡检结果。
9.一种自动驾驶车辆，其特征在于，应用如权利要求8所述的路面巡检方法，所述自动驾驶车辆包括自动驾驶模块、车载监测模块和数据采集模块；
所述数据采集模块，用于采集目标道路的道路数据，并将采集到的道路数据发送至所述自动驾驶模块；其中，所述道路数据包括道路环境的视觉图像数据、点云数据、惯性数据以及位置数据；
所述自动驾驶模块，用于根据数据采集模块发送的道路数据控制自动驾驶车辆；
所述车载监测模块，用于根据所述自动驾驶模块转发的视觉图像数据、点云数据和惯性数据确定道路特征向量，将所述道路特征向量输入到预先存储的道路异常检测模型，得到道路状态信息，其中，所述道路异常检测模型是根据样本道路特征向量及对应的道路状态标签训练得到的；将所述道路特征向量、所述位置数据和对应的道路状态信息发送给云平台，使得所述云平台根据所述道路数据、所述位置数据和对应的道路状态信息确定训练模型样本数据，并根据所述训练模型样本数据对所述道路异常检测模型继续训练，更新所述道路异常检测模型对应的模型参数；接收更新后的模型参数，根据所述更新后的模型参数更新预先存储的道路异常检测模型；利用更新后的道路异常检测模型对所述道路数据进行处理，得到更新后的道路状态信息，并将所述道路状态信息发送给所述云平台，以使所述云平台根据更新后的道路状态信息确定路面巡检结果。
10.根据权利要求9所述的自动驾驶车辆，其特征在于，所述数据采集模块包括图像传感器、雷达传感器、惯性传感器和定位传感器；
其中，所述图像传感器包括多个摄像头，所述多个摄像头依次排列在自动驾驶车辆的车头正面；
所述雷达传感器包括多个激光雷达、多个毫米波雷达和多个超声波雷达，所述多个激光雷达、所述多个毫米波雷达和所述多个超声波雷达依次排列在自动驾驶车辆的车头正面；
所述惯性传感器和所述定位传感器设置在自动驾驶车辆的车头背面。
CN202111251788.XA 2021-10-27 2021-10-27 基于自动驾驶车辆的路面巡检系统及方法 Active CN113706737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111251788.XA CN113706737B (zh) 2021-10-27 2021-10-27 基于自动驾驶车辆的路面巡检系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251788.XA CN113706737B (zh) 2021-10-27 2021-10-27 基于自动驾驶车辆的路面巡检系统及方法

Publications (2)

Publication Number Publication Date
CN113706737A true CN113706737A (zh) 2021-11-26
CN113706737B CN113706737B (zh) 2022-01-07

Family

ID=78646934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251788.XA Active CN113706737B (zh) 2021-10-27 2021-10-27 基于自动驾驶车辆的路面巡检系统及方法

Country Status (1)

Country Link
CN (1) CN113706737B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758322A (zh) * 2022-05-13 2022-07-15 安徽省路通公路工程检测有限公司 基于机器识别的道路质量检测系统
CN114783188A (zh) * 2022-05-17 2022-07-22 阿波罗智联(北京)科技有限公司 巡检方法和装置
CN115297230A (zh) * 2022-07-01 2022-11-04 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN115713855A (zh) * 2022-10-14 2023-02-24 港珠澳大桥管理局 车载终端系统、数据展示方法、装置和计算机设备
CN116103987A (zh) * 2022-07-05 2023-05-12 港珠澳大桥管理局 路面状况监测方法、装置和计算机设备
CN116631196A (zh) * 2023-07-25 2023-08-22 南京农业大学 一种基于大数据的交通路况预测方法及装置
CN116881782A (zh) * 2023-06-21 2023-10-13 清华大学 路面病害识别方法、装置、计算机设备和存储介质
CN117370897A (zh) * 2023-12-04 2024-01-09 四川正路建设工程检测咨询有限公司 道路健康状态检测方法、电子设备和计算机可读介质
CN117764303A (zh) * 2023-11-17 2024-03-26 南京公路发展(集团)有限公司 一种基于人工智能的道路巡检数据分析系统及方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
US20170277716A1 (en) * 2016-03-23 2017-09-28 Here Global B.V. Map Updates from a Connected Vehicle Fleet
WO2017176550A1 (en) * 2016-04-05 2017-10-12 Pcms Holdings, Inc. Method and system for autonomous vehicle sensor assisted selection of route with respect to dynamic route conditions
US20190003839A1 (en) * 2017-05-22 2019-01-03 Baidu Usa Llc Method and system for updating maps based on control feedbacks of autonomous driving vehicles
CN109557880A (zh) * 2018-11-16 2019-04-02 广西翼界科技有限公司 一种基于无人机的生态巡检系统
CN110703770A (zh) * 2019-11-12 2020-01-17 中科(徐州)人工智能研究院有限公司 一种轨道检测车自动行驶控制的方法及装置
CN111208812A (zh) * 2018-11-01 2020-05-29 丰田自动车株式会社 巡回系统及巡回系统的服务器
CN111572562A (zh) * 2020-07-03 2020-08-25 腾讯科技（深圳）有限公司 自动驾驶方法、装置、设备、系统、车辆和计算机可读存储介质
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的系统和方法
CN111709471A (zh) * 2020-06-12 2020-09-25 腾讯科技（深圳）有限公司 对象检测模型的训练方法以及对象检测方法、装置
CN111757255A (zh) * 2020-06-17 2020-10-09 上海钧正网络科技有限公司 一种定位的方法、装置、服务器及系统
CN113391627A (zh) * 2021-06-03 2021-09-14 北京百度网讯科技有限公司 无人车驾驶模式切换方法、设备、车辆及云端服务器

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
US20170277716A1 (en) * 2016-03-23 2017-09-28 Here Global B.V. Map Updates from a Connected Vehicle Fleet
WO2017176550A1 (en) * 2016-04-05 2017-10-12 Pcms Holdings, Inc. Method and system for autonomous vehicle sensor assisted selection of route with respect to dynamic route conditions
US20190003839A1 (en) * 2017-05-22 2019-01-03 Baidu Usa Llc Method and system for updating maps based on control feedbacks of autonomous driving vehicles
CN111587407A (zh) * 2017-11-10 2020-08-25 辉达公司 用于安全且可靠的自主车辆的系统和方法
CN111208812A (zh) * 2018-11-01 2020-05-29 丰田自动车株式会社 巡回系统及巡回系统的服务器
CN109557880A (zh) * 2018-11-16 2019-04-02 广西翼界科技有限公司 一种基于无人机的生态巡检系统
CN110703770A (zh) * 2019-11-12 2020-01-17 中科(徐州)人工智能研究院有限公司 一种轨道检测车自动行驶控制的方法及装置
CN111709471A (zh) * 2020-06-12 2020-09-25 腾讯科技（深圳）有限公司 对象检测模型的训练方法以及对象检测方法、装置
CN111757255A (zh) * 2020-06-17 2020-10-09 上海钧正网络科技有限公司 一种定位的方法、装置、服务器及系统
CN111572562A (zh) * 2020-07-03 2020-08-25 腾讯科技（深圳）有限公司 自动驾驶方法、装置、设备、系统、车辆和计算机可读存储介质
CN113391627A (zh) * 2021-06-03 2021-09-14 北京百度网讯科技有限公司 无人车驾驶模式切换方法、设备、车辆及云端服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王文峰 等: "道路全要素实景模型的自动化构建与应用", 《测绘通报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114758322B (zh) * 2022-05-13 2022-11-22 安徽省路通公路工程检测有限公司 基于机器识别的道路质量检测系统
CN114758322A (zh) * 2022-05-13 2022-07-15 安徽省路通公路工程检测有限公司 基于机器识别的道路质量检测系统
CN114783188A (zh) * 2022-05-17 2022-07-22 阿波罗智联(北京)科技有限公司 巡检方法和装置
CN115297230B (zh) * 2022-07-01 2024-05-14 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN115297230A (zh) * 2022-07-01 2022-11-04 智己汽车科技有限公司 一种电子外后视镜和智驾侧后视摄像头复用的系统和方法
CN116103987A (zh) * 2022-07-05 2023-05-12 港珠澳大桥管理局 路面状况监测方法、装置和计算机设备
CN115713855A (zh) * 2022-10-14 2023-02-24 港珠澳大桥管理局 车载终端系统、数据展示方法、装置和计算机设备
CN116881782A (zh) * 2023-06-21 2023-10-13 清华大学 路面病害识别方法、装置、计算机设备和存储介质
CN116631196A (zh) * 2023-07-25 2023-08-22 南京农业大学 一种基于大数据的交通路况预测方法及装置
CN116631196B (zh) * 2023-07-25 2023-11-28 南京农业大学 一种基于大数据的交通路况预测方法及装置
CN117764303A (zh) * 2023-11-17 2024-03-26 南京公路发展(集团)有限公司 一种基于人工智能的道路巡检数据分析系统及方法
CN117370897A (zh) * 2023-12-04 2024-01-09 四川正路建设工程检测咨询有限公司 道路健康状态检测方法、电子设备和计算机可读介质
CN117370897B (zh) * 2023-12-04 2024-02-09 四川正路建设工程检测咨询有限公司 道路健康状态检测方法、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN113706737B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
CN113706737B (zh) 基于自动驾驶车辆的路面巡检系统及方法
US11380105B2 (en) Identification and classification of traffic conflicts
CN104851295B (zh) 获取路况信息的方法和系统
US11836985B2 (en) Identifying suspicious entities using autonomous vehicles
CN109448365B (zh) 一种跨尺度空基平台区域道路交通系统综合监视方法
JP4923736B2 (ja) 道路通信システムおよび道路通信方法
US7518260B2 (en) Method and apparatus to monitor vehicular traffic
US11914041B2 (en) Detection device and detection system
CN113409607A (zh) 路况信息推送系统、方法、装置、设备及存储介质
CN110796862B (zh) 一种基于人工智能的高速公路交通状况检测系统及方法
JP7389144B2 (ja) 動的なイベントの特定および流布のための方法およびシステム
EP3806062A1 (en) Detection device and detection system
CN113665570A (zh) 自动地感知行驶信号的方法、装置及运载工具
CN109102695A (zh) 智能交通服务站、智能交通服务方法及系统
CN111477011A (zh) 一种用于道路路口预警的检测装置及检测方法
CN114387785A (zh) 一种基于智慧公路的安全管控方法、系统及可存储介质
CN114771548A (zh) 用于高级驾驶辅助系统测试和验证的数据记录
WO2017125332A2 (de) ERFASSUNG EINER GEFAHRENSITUATION IM STRAßENVERKEHR
Pyykönen et al. Traffic monitoring and modeling for intersection safety
CN117058872A (zh) 一种用于高速公路信息发布方法、系统和存储介质
KR102420854B1 (ko) 이동형 재난예방 서비스 제공 시스템 및 방법
Imani The use of real-time connected vehicles and HERE data in developing an automated freeway incident detection algorithm
US20220165151A1 (en) Traffic jam information providing device, traffic jam information processing method, and recording medium
CN114299715A (zh) 一种基于视频、激光雷达与dsrc的高速公路信息检测系统
KR101444233B1 (ko) Ｃｃｔｖ 기반의 도로 통신을 위한 ｌｃｓ 시스템, 그리고 이를 이용한 도로 교통 사고 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant