CN112595728B

CN112595728B - 一种道路问题确定方法和相关装置

Info

Publication number: CN112595728B
Application number: CN202110233925.0A
Authority: CN
Inventors: 李庆峰
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-03-03
Filing date: 2021-03-03
Publication date: 2021-05-25
Anticipated expiration: 2041-03-03
Also published as: CN112595728A

Abstract

本申请实施例公开了一种道路问题确定方法，该方法结合了人工智能技术，可以通过自动驾驶技术中的多种传感器获取车辆惯性数据和路况图像数据，利用计算机视觉技术，根据车辆惯性数据确定对应目标道路的第一道路问题信息，根据路况图像数据确定目标道路的第二道路问题信息；通过第一道路问题信息和第二道路问题信息确定目标道路的道路综合问题数据；根据道路综合问题数据确定目标道路中的道路问题点，从而能够结合道路问题点生成高精地图，进一步提高车辆行驶的安全性。本申请结合了多种硬件成本较低的道路检测方式进行多维度的道路问题检测，能够在控制道路检测成本的同时，尽可能的实现较高的检测准确度，使方案能够较为容易的进行普及和推广。

Description

一种道路问题确定方法和相关装置

技术领域

本申请涉及数据处理领域，特别是涉及一种道路问题确定方法和相关装置。

背景技术

交通路网为人们带来的出行上的便利，可以乘坐交通工具通过路网中的道路快速到达目的地。而道路维护是保证路网功能稳定的重要措施，其中如何快速的发现道路问题（例如路面损害等影响道路通行质量的问题）是实现道路及时维护的关键之一。

目前相关技术中主要通过车辆在路网中智能巡检来发现道路问题。巡检车辆上设置有激光雷达，当驾驶巡检车辆在道路上巡检的过程中，可以通过激光雷达准确的发现路面上道路问题，从而可以快速对道路问题进行维护，保证路网通行质量。

然而，很多城市路网庞大复杂，需要大量的巡检车辆才能及时发现道路问题，相关技术中适用的激光雷达的价格昂贵，如果全部巡检车辆都配置激光雷达，会大大增加道路维护的成本，使得通过激光雷达确定道路问题的方式难以普及。

发明内容

为了解决上述技术问题，本申请提供了一种道路问题确定方法，处理设备可以从车辆惯性数据和路况图像数据这两个维度的道路信息对道路问题点进行确定，实现了多维度信息之间的互补。由于车辆惯性数据和路况图像数据的采集难度都较低，因此本申请能够在控制道路检测成本的同时，尽可能的实现较高的检测准确度，从而使本申请技术方案能够较为容易的进行普及和推广。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种道路问题确定方法，所述方法包括：

获取巡检车辆的惯性测量元件和图像采集元件分别采集的车辆惯性数据和路况图像数据；

根据所述车辆惯性数据确定对应目标道路的第一道路问题信息，根据所述路况图像数据确定所述目标道路的第二道路问题信息；

通过所述第一道路问题信息和所述第二道路问题信息确定所述目标道路的道路综合问题数据；

基于位置顺序，通过采样窗依次从所述道路综合问题数据中选取处于所述采样窗中的待定道路问题点以及对应的问题点位置；

根据所述采样窗选取的问题点位置对待定道路问题点进行聚类，确定所述目标道路中的道路问题点。

第二方面，本申请实施例提供了一种道路问题确定装置，所述装置包括第一获取单元、第一确定单元、第二确定单元、选取单元和第三确定单元：

所述第一获取单元，用于获取巡检车辆的惯性测量元件和图像采集元件分别采集的车辆惯性数据和路况图像数据；

所述第一确定单元，用于根据所述车辆惯性数据确定对应目标道路的第一道路问题信息，根据所述路况图像数据确定所述目标道路的第二道路问题信息；

所述第二确定单元，用于通过所述第一道路问题信息和所述第二道路问题信息确定所述目标道路的道路综合问题数据；

所述选取单元，用于基于位置顺序，通过采样窗依次从所述道路综合问题数据中选取处于所述采样窗中的待定道路问题点以及对应的问题点位置；

所述第三确定单元，用于根据所述采样窗选取的问题点位置对待定道路问题点进行聚类，确定所述目标道路中的道路问题点。

第三方面，本申请实施例提供了一种计算机设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面中所述的道路问题确定方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行第一方面中所述的道路问题确定方法。

由上述技术方案可以看出，为了能够在尽可能降低路害检测成本的同时，提高道路问题确定的准确度，本申请可以从扩充检测维度的角度出发，将多种成本较低的检测方式进行组合，形成多维度的路害检测系统。首先，可以获取巡检车辆的惯性测量元件和图像采集元件分别采集的车辆惯性数据和路况图像数据，其中车辆惯性数据能够从车辆运动的维度体现路害信息，路况图像数据能够从图像的维度来体现路害信息。根据该车辆惯性数据和路况图像数据能够分别确定出对应目标道路的第一道路问题信息和第二道路问题信息，通过该第一道路问题信息和第二道路问题信息可以确定该目标道路的道路综合问题数据，该道路问题综合数据中包括从车辆运动和实际道路图像这两个维度确定出的目标道路中的待定道路问题点以及对应的问题点位置。为了全面的对目标道路上的实际道路问题进行确定，可以基于位置顺序，通过采样窗依次从道路综合问题数据中选取处于采样窗中的待定道路问题点以及对应的问题点位置，并根据该采样窗选取的问题点位置对待定道路问题点进行聚类，确定目标道路中的道路问题点，从而能够将采集到的多维度路害信息进行综合，实现了不同维度采集方式之间的互补。同时，由于车辆惯性数据和路况图像数据的采集难度较低，因此能够在控制信息采集成本的基础上，提高了道路问题点确定的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种实际应用场景中道路问题确定方法的示意图；

图2为本申请实施例提供的一种道路问题确定方法的流程图；

图3为本申请实施例提供的一种道路问题确定方法的示意图；

图4为本申请实施例提供的一种道路问题确定方法的示意图；

图5为本申请实施例提供的一种道路问题确定方法的示意图；

图6为本申请实施例提供的一种道路问题确定方法的示意图；

图7为本申请实施例提供的一种道路问题确定方法的示意图；

图8为本申请实施例提供的一种道路问题确定方法的示意图；

图9为本申请实施例提供的一种实际应用场景中道路问题确定方法的示意图；

图10为本申请实施例提供的一种实际应用场景中道路问题确定方法的示意图；

图11为本申请实施例提供的一种道路问题确定装置的示意图；

图12为本申请实施例提供的一种计算机设备的结构图；

图13为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

对道路上的问题点进行准确检测是保障行车安全的关键环节，在相关技术中，为了提高检测的精确度，需要在负责检测道路信息的巡检车辆上安装激光雷达来获取精确度高的道路信息，然而，由于激光雷达造价昂贵，若为每一辆巡检车辆都配备激光雷达会导致道路检测的成本极高，难以对该方法进行普及。

可以理解的是，该方法可以应用于处理设备上，该处理设备为具有数据处理功能的处理设备，例如可以是具有数据处理确定功能的终端设备或服务器。该方法由终端设备或服务器独立执行，也可以应用于终端设备和服务器通信的网络场景，通过终端设备和服务器配合运行。其中，终端设备可以为手机、台式计算机、个人数字助理（Personal DigitalAssistant，简称PDA）、平板电脑等设备。服务器可以理解为是应用服务器，也可以为Web服务器，在实际部署时，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

此外，本申请还涉及人工智能技术(Artificial Intelligence, AI)。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中，本申请技术方案主要涉及其中的自动驾驶技术和计算机视觉技术。

计算机视觉技术(Computer Vision, CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景。

在本申请技术方案中，通过路况图像数据得到第二道路问题信息的过程中，可以基于计算机视觉技术对图像数据中的待定道路问题点进行识别；此外，基于自动驾驶技术中的多种传感器，处理设备可以采集多维度的道路信息，例如可以通过惯性传感器采集车辆惯性数据等。

为了便于理解本申请提供的技术方案，接下来将结合一种实际应用场景，对本申请实施例提供的一种道路问题确定方法进行介绍。

参见图1，图1为本申请实施例提供的一种实际应用场景中道路问题确定方法的示意图，在该实际应用场景中，处理设备为服务器101。

如图1所示，在巡检车辆上安装有作为惯性测量元件的惯性测量单元（Inertialmeasurement unit，简称IMU）和作为图像采集单元的相机，服务器101可以获取IMU采集到的车辆惯性数据和相机采集到的路况图像数据，该车辆惯性数据所体现出的是车辆运动维度的数据，例如车辆行驶的颠簸情况等；路况图像数据所体现出的是道路图像维度的数据，例如实际拍摄的路面图像等。

服务器101可以根据该车辆惯性数据确定对应目标道路的第一道路问题信息，根据路况图像数据确定目标道路的第二道路问题信息，其中第一道路问题信息能够体现出基于车辆运动维度所确定出的待定道路问题点，第二道路问题信息能够体现出基于路况图像维度所确定出的待定道路问题点。为了实现多维度采集方式之间的互补，服务器101可以通过该第一道路问题信息和第二道路问题信息确定目标道路的道路综合问题数据，该道路综合问题数据中包括从多个维度采集到的待定道路问题点，从而若某一维度的道路信息存在检测不出的待定道路问题点，可以通过其他维度的道路信息进行冗余检测，得到尽可能全面的待定道路问题点。

由于各个维度的道路信息是由惯性测量元件和图像采集单元独立检测出的，因此该道路综合问题数据中可能会存在针对同一道路问题点所检测出的多个待定道路问题点。服务器101可以基于位置顺序，通过采样窗依次从道路综合问题数据中选取处于采样窗中的待定道路问题点以及对应的问题点位置，得到一个个基于位置顺序确定出的采样窗，每一个采样窗中具有对应于目标道路的部分待定道路问题点和对应的问题点位置。可以理解的是，若两个待定道路问题点之间的距离较为接近，那么这两个待定道路问题点有较大的概率可能对应于同一道路问题点。基于此，服务器101可以根据采样窗中的问题点位置对待定道路问题点进行聚类，从而将位置较为接近的待定道路问题点聚类为对应同一道路问题点的待定道路问题点，最终确定出该目标道路中的道路问题点。

由于服务器101基于多个维度的道路信息进行道路问题点的确定，因此能够实现多个维度道路信息之间的互补，有效改善了由于单一维度道路信息检测不全面导致遗漏道路问题点的问题。同时，由于通过IMU采集车辆惯性数据以及通过相机采集路况图像数据的难度较低，技术较为成熟，因此该方案整体的实现成本较低，从而能够在控制成本的同时有效提高了道路问题点的准确度，有利于方案的普及和推广。

接下来，将结合附图，对本申请实施例提供的一种道路问题确定方法进行介绍。参见图2，图2为本申请实施例提供的一种道路问题确定方法的流程图，该方法包括：

S201：获取巡检车辆的惯性测量元件和图像采集元件分别采集的车辆惯性数据和路况图像数据。

为了能够尽可能的控制道路问题的检测成本，处理设备可以选择成本较低的道路检测方式对道路问题进行检测，例如通过相机、惯性传感器等硬件设备进行道路问题检测等，这些硬件设备成本较低。然而，低成本的道路检测方式可能存在精度不足的问题，只基于单一维度的道路信息进行检测很有可能出现道路问题点遗漏、检测不全的情况，该道路问题点是指道路上容易对车辆行驶造成影响的点，例如道路上的坑洼、凸起物等。例如，车辆惯性数据能够体现出车辆在行驶过程中的运动情况，只通过车辆惯性数据进行检测虽然能够对一些直接影响巡检车辆行驶的道路问题点进行准确识别，但是若某些道路问题点没有被该巡检车辆所经过，就很难在该车辆惯性数据中所体现出来；路况图像数据能够体现出巡检车辆所行驶路面的路面状态，只通过路况图像数据虽然能够对目标道路中视觉层面上较为明显的道路问题点进行识别，但是若存在某些道路问题点出于与路面颜色较为接近等原因，难以从视觉层面上进行区分，则可能会被忽略，无法进行精确识别。

为了在一定程度上避免基于单一维度的道路信息进行检测所造成检测精度不足的问题，在本申请实施例中，处理设备可以通过多种方式采集多个维度的道路信息，并综合这些道路信息进行道路问题点的确定，从而实现不同维度道路信息之间的互补效果。

首先，在巡检车辆上可以安装有惯性测量元件和图像采集元件，惯性测量元件可以采集该巡检车辆在巡检过程中所对应的车辆惯性数据，该车辆惯性数据是指能够体现出车辆行驶状态的数据，例如可以包括车辆在各个方向上的加速度数据和角速度数据等，该惯性测量元件可以为惯性测量单元IMU、陀螺仪等；图像采集元件可以采集该巡检车辆在巡检过程中所对应的路况图像数据，该路况图像数据是指能够以图像方式体现出路面状态的数据，例如该图像采集元件可以为相机，该路况图像数据可以为相机所拍摄的道路图像。其中，无论是惯性测量单元IMU、陀螺仪还是相机等硬件设备，其生产、购买的成本都要远低于激光雷达，因此本申请可以在尽可能保障检测精度的情况下，极大的降低了硬件成本。

如图10所示，图10展示了一种通过IMU进行测量的示意图，在该IMU中存在一个预设的IMU阈值，当IMU数值超过该IMU阈值时，则判定该巡检车辆发生了颠簸，造成该颠簸的原因有较大概率为道路上的道路问题点，进而能够确定出对应的待定道路问题点。

为了能够基于多维度的道路信息进行道路问题点的确定，处理设备可以获取巡检车辆的惯性测量元件和图像采集元件分别采集的车辆惯性数据和路况图像数据。

S202：根据车辆惯性数据确定对应目标道路的第一道路问题信息，根据路况图像数据确定目标道路的第二道路问题信息。

基于获取到的车辆惯性数据，处理设备可以从车辆运动情况的维度，确定对应目标道路的第一道路问题信息，该第一道路问题信息包括对应于该车辆惯性数据的待定道路问题点；基于获取到的路况图像数据，处理设备可以从道路图像的维度，确定出目标道路的第二道路问题信息，该第二道路问题信息包括对应于该路况图像数据的待定道路问题点。

其中，目标道路可以为巡检车辆在巡检过程中所经过的任意一条道路，待定道路问题点是指由各个维度的检测方式所检测出、还未进行综合确定的道路问题点。

S203：通过第一道路问题信息和第二道路问题信息确定目标道路的道路综合问题数据。

为了实现不同维度道路信息之间的互补，处理设备可以综合第一道路问题信息和第二道路问题信息，确定对应该目标道路的道路综合问题数据，该道路问题综合数据中包括基于各个维度道路信息所确定出的待定道路问题点以及各个待定道路问题点对应的问题点位置。通过对多维度待定道路问题点的合并处理，可以扩大确定目标道路中的道路问题点所依据的数据范围。例如，当通过车辆惯性数据无法检测到目标道路上某一巡检车辆未经过的道路问题点时，虽然该道路问题点可能没有体现在第一道路问题信息对应的待定道路问题点中，但是该道路问题点可以被图像采集元件所采集到，从而体现在第二道路问题对应的待定道路问题点中，最终也能够体现在道路综合问题数据中，实现了对道路问题点更加全面的检测。

可以理解的是，由于采集不同维度道路信息所用方式不同，因此基于不同维度道路信息所确定出的待定道路问题点可能对应于不同的位置标准。例如，当图像采集元件为相机时，在该相机拍摄到目标道路上某一道路问题点的时刻，若该相机所拍摄的角度为车辆前方的角度，则车辆大概率还没有经过该道路问题点。因此，在基于该相机采集的路况图像数据所确定出的第二道路问题信息中，待定道路问题点所对应的初始位置信息应当为该待定道路问题点对应于相机或巡检车辆的相对位置，例如可以为“在相机前方3米”等。而由于惯性测量元件安装于巡检车辆上，且该惯性测量单元所采集的车辆惯性数据为车辆自身的运动数据，因此当通过该车辆惯性数据能够检测出某一待定道路问题点时，采集到该待定道路问题点相关的数据时，该巡检车辆也正在经过该待定道路问题点，即采集到该相关数据时刻巡检车辆的位置可以视为该待定道路问题点对应的位置信息。

由此可见，基于第一道路问题信息和第二道路信息所确定出的待定道路问题点的初始位置信息可能对应于不同的位置标准，为了方便进行后续处理，使处理设备能够对道路问题点进行准确聚类，处理设备在确定道路综合问题数据时，可以将基于不同维度道路信息确定出的待定道路问题点统一至同一坐标系中，例如可以都统一至全球定位系统（the Global Positioning System，简称GPS）的坐标系中。

可以理解的是，该位置统一过程可以在确定第一道路信息和第二道路信息之后、通过采样窗选取数据之前的任意一个步骤中执行，并不只限定与在确定道路综合问题数据时进行。例如，该道路问题综合数据中的问题点位置也可以为一个相对位置，在后续利用采样窗基于位置顺序选取待定道路问题点时再转换至同一坐标系中，便于采样窗基于位置顺序进行选取。

S204：基于位置顺序，通过采样窗依次从道路综合问题数据中选取处于采样窗中的待定道路问题点以及对应的问题点位置。

可以理解的是，由于在采集不同维度的道路信息时，各个元件都是独立进行采集的，因此在采集某一待定道路问题点相关的道路信息时并不会考虑到其它元件是否已经对该待定道路问题点进行采集。因此，在包括有基于多维度道路信息所确定待定道路问题点的道路综合问题数据中，有较大概率存在多个待定道路问题点实际上对应目标道路中的同一道路问题点。

基于此，为了最终输出一个较为准确的道路检测结果，处理设备可以对道路综合问题数据中的待定道路问题点进行聚类处理，即从多个待定道路问题点中确定出对应同一道路问题点的待定道路问题点。

可以理解的是，由于通过多维度道路信息所确定出的待定道路问题点可能数量较大，若同时对道路综合问题数据中的全部待定道路问题点进行聚类处理，可能会导致处理设备处理压力过大，且难以进行较为精确的聚类。基于此，为了尽可能全面且准确的对道路综合问题数据中的待定道路问题点进行聚类，处理设备可以引入采样窗的方式，每一次通过采样窗采集道路综合问题数据中的部分待定道路问题点进行聚类处理，通过多次采样窗采集和聚类实现对道路综合问题数据中全部待定道路问题点的聚类处理。

为了避免遗漏从目标道路中确定出的待定道路问题点，处理设备可以基于位置顺序来获取道路综合问题数据中的待定道路问题点。其中，采样窗是指由起始位置和结束位置确定出的一段位置长度。在本申请实施例中，处理设备可以基于位置顺序，通过采样窗依次从道路综合问题数据中选取处于该采样窗中的待定道路问题点以及对应的问题点位置，即获取所对应问题点位置处于该采样窗所对应位置长度中的待识别道路问题点。

S205：根据采样窗选取的问题点位置对待定道路问题点进行聚类，确定目标道路中的道路问题点。

针对于每一个采样窗中的待定道路问题点，处理设备基于多种聚类标准，例如待定道路问题点之间的距离、待定道路问题点的数量等，对该待定道路问题点进行聚类处理。最终，处理设备可以得到聚类处理后确定出的道路问题点，该道路问题点即为巡检车辆所检测目标道路中的道路问题点。

上已述及，处理设备可以通过多种聚类标准来进行聚类处理，接下来将展开说明具体的聚类动作。

在基于位置顺序，通过采样窗获取数据后，处理设备可以得到N个包括待定道路问题点和对应问题点位置的采样窗，处理设备可以针对其中每一个采样窗进行聚类处理，接下来将以其中的第i个采样窗为例进行描述，i≤N。

可以理解的是，在不同元件对目标道路上的道路问题点进行测量时，虽然可能测量出的问题点位置有所差别，但是总体上差别要小于对不同道路问题点测量出的问题点位置之间的差别。因此，若两个待定道路问题点之间的距离较小，可以将这两个待定道路问题点确定为同一道路问题点。

在一种可能的实现方式中，针对第i个采样窗，在进行聚类时，处理设备可以预设一个距离阈值，该距离阈值用于判断待定道路问题点之间的距离是否较小。处理设备可以根据第i个采样窗选取的问题点位置，确定第i个采样窗所选取的待定道路问题点间的距离差。若该距离差中有超出距离阈值的距离差，则说明在第i个采样窗选取的待定道路问题点中存在间隔较远的待定道路问题点，这些间隔较远的待定道路问题点属于不同道路问题点的可能性较高，属于同一道路问题点的可能性较低，因此说明需要对该待定道路问题点进行聚类处理，确定对应同一道路问题点的待定道路问题点，然后才能够基于对应同一道路问题点的待定道路问题点准确的确定出该道路问题点。

处理设备可以通过第i个采样窗选取的问题点位置对该待定道路问题点进行聚类，从而确定出对应不同道路问题点的多个待定道路问题点。在进行聚类后，处理设备可以基于对应同一道路问题点的多个待定道路问题点，确定目标道路在第i个采样窗中的道路问题点，最终，通过N个采样窗所确定出的道路问题点集合即为巡检车辆此次道路检测所检测出的全部目标道路上的道路问题点。

例如，在判断是否有距离差超出距离阈值时，处理设备可以计算第i个采样窗中待定道路问题点之间距离的方差是否大于阈值，若超出阈值，则判断该第i个采样窗中的待定道路问题点为对应于2个道路问题点，处理设备可以以两个道路问题点作为聚类基准进行聚类，得到对应两个不同道路问题点的多个待定道路问题点。

除了待定道路问题点之间的距离外，同一采样窗中待定道路问题点的数量同样可以作为聚类标准之一。可以理解的是，上述N个采样窗中的待定道路问题点都是同一批元件所测量出的，由于目标道路上不同部分所存在的道路问题点数量不同，而采样窗是基于位置顺序对待定道路问题点进行采样的，因此，不同采样窗中获取到的待定道路问题点数量也可能有所不同。若同一采样窗中有较多的待定道路问题点，则该采样窗所对应目标道路段存在多个道路问题点的概率较大。

基于此，在通过距离进行聚类的基础上，处理设备还可以进一步增加对待定道路问题点数量的判断。在一种可能的实现方式中，若距离差中有超出距离阈值的距离差，处理设备可以进一步判断待定道路问题点的数量是否超过预设的数量阈值。若通过第i个采样窗所选取的待定道路问题点的数量超出数量阈值，则进一步说明该第i个采样窗中对应目标道路上多个道路问题点的可能性较高。处理设备可以通过第i个采样窗选取的问题点位置对待定道路问题点进行聚类，确定该目标道路在第i个采样窗中的道路问题点。

例如，在一种实际应用场景中，处理设备可以统计第i个采样窗中待定道路问题点的个数和待定道路问题点之间距离的方差，若方差超过距离阈值且个数超过数量阈值，则处理设备可以确定该第i个采样窗对应于目标道路中的2个道路问题点，并基于2个道路问题点这一聚类基准进行聚类，例如可以采用K均值聚类（k-means clustering algorithm，简称K-Means）算法，以K=2为基准进行聚类。

上已述及，当同一采样窗中的待定道路问题点之间存在较大的距离差，且待定道路问题点的数量较多时，该采样窗中对应多个道路采样点的概率较大；反之，若待定问题点之间的距离差都较小，且待定道路问题点的数量较少时，同一采样窗中待定道路问题点对应同一道路问题点的概率就较高，此时，处理设备可以无需对该采样窗中的待定道路问题点进行聚类处理，进一步提高道路问题点确定的效率。

在一种可能的实现方式中，若通过第i个采样窗所选取的待定道路问题点的数量小于数量阈值，且距离差小于距离阈值，则可以说明第i个采样窗中的待定道路问题点对应多个道路问题点的可能性较低。此时，处理设备可以无需进行聚类，直接将通过第i个采样窗所选取的待定道路问题点确定为同一个道路问题点。

在经过上述对第i个采样窗中待定道路问题点的处理后，处理设备能够确定出对应于同一道路问题点的多个待定道路问题点。通过这些待定道路问题点的问题点位置、问题点深度以及问题点数量等信息，处理设备可以确定出所对应目标道路上道路问题点的相关信息。例如，基于聚类筛选出的针对某一道路问题点的待定道路问题点的数量和深度，处理设备能够确定出该道路问题点所对应的问题点类型和问题程度等信息，如是面积大、深度大，损害较为严重的深坑还是面积小、深度小，损害较轻的小坑洼；基于待定道路点之间距离的方差、数量等信息，处理设备可以确定出该道路问题点的置信度，例如若对应该道路问题点的待定道路问题点数量较多、方差较小，则该道路问题点真实存在于目标道路上的可能性就较高，该道路问题点对应的置信度也就较高。处理设备可以将确定出的相关信息展示给行车用户，来指示用户在目标道路上驾驶车辆。

如图3所示，图3为处理设备向用户展示道路问题点确定结果的示意图，该展示界面可以包括问题点编号、检测时间、问题程度、问题点类型、问题点的经纬度位置以及问题点在目标道路上的位置、置信度等信息，方便用户了解该道路问题点并进行相应的处理，如驾车避让该道路问题点或直接驶过等。

上述内容主要针对于对道路综合问题数据的聚类处理、确定道路问题点的过程，接下来，将对各个维度的道路信息进行详细的介绍。

其中，图像采集元件可以包括多种，例如可以为两个不同的相机所组成的相机组或两个单目相机组成的双目相机等；惯性测量元件也可以为多种，例如可以为上述IMU等。可以理解的是，惯性测量元件在测量车辆惯性数据时，由于多种原因可能存在一定的误差，例如对车辆的加速度和角速度的测量可能受车辆自身行驶所产生抖动的影响等。因此，为了进一步提高道路问题点确定的精确度，处理设备可以进一步的提高各个测量元件所测量数据的精确度。

可以理解的是，除了惯性测量元件可以采集到车辆惯性数据外，处理设备还可以通过其他的方式对车辆惯性相关的数据进行采集。在一种可能的实现方式中，处理设备可以通过其他方式采集的相关数据，对该惯性测量元件所采集的车辆惯性数据进行修正。

例如，图像采集单元可以采集到巡检车辆在行驶过程中的路况图像数据，而该路况图像数据在一定程度上也能够体现出该巡检车辆的巡检情况。例如，通过对某一段时间内路况图像数据的变化，处理设备可以确定出巡检车辆的位置变化情况，而通过车辆惯性数据中的加速度数据、角速度数据等信息，处理设备同样可以确定出该巡检车辆在该段时间内的车辆位置变化。通过上述两种方式所确定出的车辆位置变化情况之间的差异信息，处理设备可以在一定程度上确定出该惯性测量元件的测量误差，从而对该误差进行修正。

在一种可能的实现方式中，该图像采集元件可以包括多个图像采集单元，目标采集单元可以为多个图像采集单元中的至少一个，该目标采集单元可以用于采集路况图像数据对惯性测量元件的误差进行修正。一方面，处理设备可以获取路况图像数据中该目标采集单元在目标时间段内采集的路况图像帧，该目标时间段为巡检车辆采集数据所对应时间中的任意一个时间段，该路况图像帧是指能够展示出路况的图像帧。

处理设备可以根据该路况图像帧确定巡检车辆的第一位置变化参数，该第一位置变化参数用于体现在路况图像维度上的车辆位置变化。例如，当目标采集单元为多个图像采集单元时，处理设备可以基于多个图像采集单元分别采集到的路况图像帧进行三维重建，即利用视觉几何技术，将路况图像帧中的二维图像转化为三维图像，从而能够基于三维图像的变化，确定出巡检车辆在三维空间（即现实场景）中位置变化参数，这些位置变化参数能够体现巡检车辆的位置变化。

另一方面，处理设备可以根据在该目标时间段内的车辆惯性数据，确定该巡检车辆的第二位置变化参数，该第二位置变化参数用于体现在车辆运动维度上的车辆位置变化。例如，处理设备可以通过巡检车辆在目标时间段内的加速度和角速度，确定出该巡检车辆在目标时间段内的位移长度和位移方向，从而确定出该巡检车辆在目标时间段内的位置变化。

在确定出基于不同维度数据所确定出的位置变化参数后，处理设备可以通过该第一位置变化参数和第二位置变化参数，确定该惯性测量元件的速度偏差值，该速度偏差值为惯性测量元件在测量过程中出现的误差。处理设备可以根据该速度偏差值对该车辆惯性数据进行偏差调整，然后根据偏差调整后的车辆惯性数据确定对应目标道路的第一道路问题信息，从而能够进一步提高该第一道路问题信息的信息精度，最终确定出准确度更高的道路问题点。

例如，在一种实际应用场景中，该第一位置变化参数和第二位置变化参数可以为巡检车辆在三维空间中六个自由度上的变化参数，该六个自由度是指沿空间x轴的位移、y轴的位移、z轴的位移以及绕x轴的转动、绕y轴的转动以及绕z轴的转动。如图4所示，该目标时间段可以为目标采集单元在采集第k帧路况图像帧到采集第k+1帧路况图像帧之间的时间段，处理设备可以根据第k帧路况图像帧和第k+1帧路况图像帧确定第一组六自由度上的位置变化参数，然后根据在该目标时间段中所采集的IMU数据，确定出第二组六自由度上的位置变化参数，基于这两组六自由度上的位置变化参数确定出该IMU中的速度偏差值

和

，其中

为加速度偏差值，

为陀螺仪偏差值，即角速度偏差值。处理设备可以通过如下公式对车辆惯性数据进行偏差调整：

其中，

为偏差调整后的角速度，

为直接测量出的角速度，

为偏差调整后的加速度，

为直接测量出的加速度，

和

为白噪声。处理设备可以通过基于

和

进行偏差调整后的

和

来确定第一道路问题信息。

上已述及，图像采集元件可以包括多种组成方式，不同的组成方式在采集路况图像数据时的方式也可能有所不同，下面将对多种组成方式的图像采集元件进行展开介绍。

在一种可能的实现方式中，该图像采集元件可以由多组采集组件组成，例如可以包括第一采集组件和第二采集组件。其中，第一采集组件可以包括第一图像采集单元和第二图像采集单元，该第一图像采集单元和第二图像采集单元的图像采集参数不同。从而，两个图像采集单元可以从不同的视角对路况图像进行采集，实现路况图像信息上的互补效果，使最终采集到的路况图像数据更加全面，可信度更高，对道路问题点的识别也更加准确。

例如，在一种可能的实现方式中，该路况图像数据中可以包括第一路况子图像和第二路况子图像，该第一路况子图像为通过第一图像采集单元采集到的路况图像，该第二路况子图像为通过第二图像采集单元采集到的路况图像。由于该第一图像采集单元和第二图像采集单元具有不同的图像采集参数，因此该第一路况子图像和第二路况子图像能够反映出不同采集视角下的路况图像信息。

处理设备可以基于深度学习技术，利用模型对该路况子图像进行分析和处理。首先处理设备可以根据第一图像采集单元采集的第一路况子图像，确定第一问题子信息，以及根据第二图像采集单元采集的第二路况子图像，确定第二问题子信息，该第一问题子信息和第二问题子信息中分别包括基于第一路况子图像和第二路况子图像确定出的待定道路问题点。

可以理解的是，在通过路况图像确定待定道路问题点时，由于多种因素的干扰，所确定出的待定道路问题点中可能会存在个别置信度较低的问题点。例如，在确定问题子信息时，可能会将目标道路上的垃圾误认为道路上的坑洼，从而确定为一个待定道路问题点。基于此，在确定第一问题子信息和第二问题子信息后，处理设备可以通过分类模型从第一问题子信息和第二问题子信息中筛除不可信的待定道路问题点，然后将筛除后的第一问题子信息和第二问题子信息确定第二道路问题信息中该第一采集组件所对应的道路问题子信息。

例如，在一种实际应用场景中，处理设备可以通过目标检测模型CenterNet网络架构来对第一路况子图像和第二路况子图像中的待定道路问题点进行检测。如图5所示，图5展示了一种CenterNet网络结构的示意图，该Center网络结构包括骨干提取（Backbone）、嵌入和偏移（Embeddings and Offsets）和偏移（Offsets）。在该CenterNet中，损失函数

分为三个部分热图（heatmap）损失、目标长宽预测损失和目标中心点偏移损失。如下公式所示，其中heatmap损失

采用改进的焦点focal损失，长宽预测损失

和目标中心点偏移损失

都采用回归损失函数L1Loss。

其中，在确定heatmap损失时，对focal损失进行了改写，如下公式所示，α和β为超参数，用来均衡难易样本和正负样本，N为图像中的关键点数量（即正样本个数）。

是标注真值，

是预测值，x,y代表图像坐标，c代表类别。

中心点偏移损失确定公式如下：

其中

表示预测的偏移值，p为图片中目标中心点坐标，R为缩放尺度，为缩放后中心点的近似整数坐标。

长宽预测损失值的确定公式如下：

本申请只对正样本的损失值进行计算，Spk为预测尺寸，Sk为真实尺寸。

在该实际应用场景中，第一图像采集单元可以为鱼眼相机，第二图像采集单元可以为视野范围FOV60相机，两个相机所采集的路况图像可以实现多个角度的互补效果，如图6所示，图6左侧为FOV60相机采集的路况图像，右侧为鱼眼相机采集的路况图像，通过CenterNet模型可以分别确定出两类路况图像中的待定道路问题点，如图6中被框出的部分。由图可见，FOV60相机能够更为清晰的采集车辆周围的路况图像，而鱼眼相机则能够提供更大的广角图像，从而通过两种相机的结合可以使对路况图像的采集更加全面和细致。

处理设备可以通过分类模型从通过FOV60相机采集路况图像确定的第一问题子信息和通过鱼眼相机采集路况图像确定的第二问题子信息中筛除不可信的待定道路问题点，该分类模型的结构可以如图7所示。在输入路况图像信息后，该分类模型可以通过卷积处理、特征提取和多个资源块等操作模块，输出路况图像信息中每一个待定道路问题点对应的归一化数值，该归一化数值用于表征该待定道路问题点的可信度，即该数值越接近于1，可信度越高。处理设备可以预设一个阈值，将归一化数值小于该阈值的待定道路问题点去除，从而筛除掉不可信的待定道路问题点，提高道路检测的准确度。

图像采集元件中除了可以包括上述第一采集组件外，为了进一步提高检测的多样性和全面性，还可以包括第二采集组件，该第二采集组件可以为由两个单目图像采集单元构成的双目图像采集组件，例如可以为两个FOV60相机构成的双目相机等。

在利用双目图像采集组件对道路问题点进行检测时，处理设备可以分别利用其中的两个单目图像采集组件采集左目路况子图像和右目路况子图像，路况图像数据中可以包括该左目路况子图像和右目路况子图像，左目路况子图像是指双目图像采集组件中位于左侧的单目图像采集单元采集出的路况图像，右目路况子图像是指双目图像采集组件中位于右侧的单目图像采集单元采集出的路况图像。

可以理解的是，若两个单目图像采集单元同时采集到了同一对象，则在通常情况下，该对象在左目路况子图像和右目路况子图像中对应像素点的光度应当一致。基于该规律，通过分析左目路况子图像和右目路况子图像中像素点的光度，处理设备可以确定出左目路况子图像和右目路况子图像中对应同一对象的像素点。

基于此，在本申请实施例中，为了确定出第二采集组件所对应的道路问题子信息，处理设备可以通过分析左目路况子图像和右目路况子图像中的像素点光度来进行。在一种可能的实现方式中，处理设备可以根据第二采集组件采集的左目路况子图像和右目路况子图像，通过深度网络模型确定该第二道路问题信息中第二采集组件对应的道路问题子信息，该道路问题子信息中包括基于该左目路况子图像和右目路况子图像确定出的待定道路问题点。

其中，该深度网络模型是通过如下方式训练得到的：

处理设备可以基于同一对象投影在左目路况子图像和右目路况子图像中像素点的光度一致的训练规则，确定训练初始网络模型的损失函数。处理设备可以根据基于双目图像采集组件确定的训练样本对，以及该损失函数训练该初始网络模型确定该训练样本对中分别对应同一对象的像素对，该训练样本对包括左目样本图像和右目样本图像。

在一种实际应用场景中，该深度网络模型的训练过程可以如图8所示，在输入左目样本图像和右目样本图像后，通过特征金字塔（Feature pyramid）结构进行特征提取，然后经过弯曲层（Warping layer）、成本量层（Cost volume layer）和光流量估算器（Opticalflow estimator）得到特征网络（Context network），最终确定出刷新流（Refind flow），其中融入了上采样流（Upsampled flow）。

其中，在弯曲层中，该模型可以利用损失函数实现对左目路况子图像和右目路况子图像的对齐，得到成本量。例如，该损失函数可以为下列公式：

其中，

为两个像素

和

对应同一对象的置信度，数值越小，置信度越高。为了平滑光流值，引入了光流值

，n为图像中的像素个数。该置信度的确定公式如下所示：

其中，

表示两个像素之间的相似度，

为像素之间的光度差值，α为参数。光流值

可以通过如下公式确定：

当两个路况子图像对齐时，该损失函数就会无限接近于0，从而能够帮助该模型去除掉路况子图像中一些可能会产生遮挡的像素，确定出对应于同一对象的像素，进而能够通过该对象在两个单目图像采集单元所采集路况子图像中的位置，在利用基础矩阵等方式剔除错误的光流信息后，即可确定出该对象所对应的点云。最后，处理设备可以利用平面拟合技术，检测出对应于道路问题点的点云，从而生成对应该第二采集组件的道路问题子信息。进一步的，处理设备还可以通过统计对应道路问题点点云的数量和深度，确定该道路问题点的大小和问题严重程度。

为了便于理解本申请技术方案，接下来将结合一种实际应用场景，对本申请实施例提供的一种道路问题确定方法进行介绍。

参见图9，图9为本申请实施例提供的一种实际应用场景中道路问题确定方法的示意图。在该实际应用场景中，处理设备可以为能够接受巡检车辆数据并进行分析处理的服务器。

首先，服务器可以接收来自三种方式确定出的道路信息，分别包括IMU测量出的道路信息、双目相机测量出的道路信息以及结合FOV60 2D测量和Fisheye 2D测量、且经过二级分类后的道路信息。服务器可以基于这些多维度的道路信息生成道路综合问题数据，然后对该数据进行GPS对齐（GPS Align）检测，即通过多个维度道路信息确定出的待定道路问题点统一至同一GPS坐标系中。在这个过程中，服务器还可以对待定道路问题点的深度进行测量和收集。

随后，服务器可以进行GPS聚类，确定出对应不同道路问题点的待定道路问题点，然后基于对应同一道路问题点的待定道路问题点确定出该道路问题点。服务器可以基于对应同一道路问题点的待定道路问题点的数量、深度等信息，计算该道路问题点的属性，例如问题点类型、问题点损害程度、问题点可信度等，将计算结果进行输出。

在上述技术方案中，惯性测量元件的处理和确定道路综合问题数据的处理都可以采用端到端的深度学习方案，以增强整体方案的鲁棒性，进一步提高道路问题点确定的准确度。

基于上述实施例提供的一种道路问题确定方法，本申请实施例还提供了一种道路问题确定装置，参见图11，图11为本申请实施例提供的一种道路问题确定装置1100的结构框图，该装置1100包括第一获取单元1101、第一确定单元1102、第二确定单元1103、选取单元1104和第三确定单元1105：

第一获取单元1101，用于获取巡检车辆的惯性测量元件和图像采集元件分别采集的车辆惯性数据和路况图像数据；

第一确定单元1102，用于根据所述车辆惯性数据确定对应目标道路的第一道路问题信息，根据所述路况图像数据确定所述目标道路的第二道路问题信息；

第二确定单元1103，用于通过所述第一道路问题信息和所述第二道路问题信息确定所述目标道路的道路综合问题数据；

选取单元1104，用于基于位置顺序，通过采样窗依次从所述道路综合问题数据中选取处于所述采样窗中的待定道路问题点以及对应的问题点位置；

第三确定单元1105，用于根据所述采样窗选取的问题点位置对待定道路问题点进行聚类，确定所述目标道路中的道路问题点。

在一种可能的实现方式中，针对第i个采样窗，第三确定单元1105具体用于：

根据第i个采样窗选取的问题点位置，确定第i个采样窗所选取的待定道路问题点间的距离差；

若所述距离差中有超出距离阈值的距离差，通过第i个采样窗选取的问题点位置对待定道路问题点进行聚类，确定所述目标道路在第i个采样窗中的道路问题点。

在一种可能的实现方式中，第三确定单元1105具体用于：

若所述距离差中有超出距离阈值的距离差，且通过第i个采样窗所选取的待定道路问题点的数量超出数量阈值，通过第i个采样窗选取的问题点位置对待定道路问题点进行聚类，确定所述目标道路在第i个采样窗中的道路问题点。

在一种可能的实现方式中，装置1100还包括第四确定单元：

第四确定单元，用于若通过第i个采样窗所选取的待定道路问题点的数量小于数量阈值，且所述距离差小于所述距离阈值，将通过第i个采样窗所选取的待定道路问题点确定为同一个道路问题点。

在一种可能的实现方式中，所述图像采集元件包括多个图像采集单元，目标采集单元为所述多个图像采集单元中的至少一个，装置1100还包括第二获取单元、第五确定单元、第六确定单元、第七确定单元和调整单元：

第二获取单元，用于获取所述路况图像数据中所述目标采集单元在目标时间段内采集的路况图像帧；

第五确定单元，用于根据所述路况图像帧确定所述巡检车辆的第一位置变化参数；

第六确定单元，用于根据在所述目标时间段内的所述车辆惯性数据确定所述巡检车辆的第二位置变化参数；

第七确定单元，用于通过所述第一位置变化参数和所述第二位置变化参数确定所述惯性测量元件的速度偏差值；

调整单元，用于根据所述速度偏差值对所述车辆惯性数据进行偏差调整；

第一确定单元1102具体用于：

根据偏差调整后的所述车辆惯性数据确定对应目标道路的第一道路问题信息。

在一种可能的实现方式中，所述图像采集元件包括第一采集组件和第二采集组件；

所述第一采集组件包括第一图像采集单元和第二图像采集单元，所述第一图像采集单元和所述第二图像采集单元的图像采集参数不同；

所述第二采集组件为由两个单目图像采集单元构成的双目图像采集组件。

在一种可能的实现方式中，所述路况图像数据包括左目路况子图像和右目路况子图像，第一确定单元1102具体用于：

根据所述第二采集组件采集的左目路况子图像和右目路况子图像，通过深度网络模型确定所述第二道路问题信息中所述第二采集组件对应的道路问题子信息；

所述深度网络模型通过如下方式训练得到：

基于同一对象投影在左目路况子图像和右目路况子图像中像素点的光度一致的训练规则，确定训练初始网络模型的损失函数；

根据基于双目图像采集组件确定的训练样本对，以及所述损失函数训练所述初始网络模型确定所述训练样本对中分别对应同一对象的像素对，所述训练样本对包括左目样本图像和右目样本图像；

通过对所述初始网络模型训练得到所述深度网络模型。

在一种可能的实现方式中，所述路况图像数据包括第一路况子图像和第二路况子图像，第一确定单元1102具体用于：

根据所述第一图像采集单元采集的所述第一路况子图像，确定第一问题子信息；

根据所述第二图像采集单元采集的所述第二路况子图像，确定第二问题子信息；

通过分类模型从所述第一问题子信息和所述第二问题子信息中筛除不可信的待定道路问题点；

将筛除后的所述第一问题子信息和所述第二问题子信息确定所述第二道路问题信息中所述第一采集组件对应的道路问题子信息。

本申请实施例还提供了一种计算机设备，下面结合附图对该设备进行介绍。请参见图12所示，本申请实施例提供了一种设备，该设备还可以是终端设备，该终端设备可以为包括手机、平板电脑、个人数字助理（Personal Digital Assistant，简称PDA）、销售终端（Point of Sales，简称POS）、车载电脑等任意智能终端，以终端设备为手机为例：

图12示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图12，手机包括：射频（Radio Frequency，简称RF）电路1210、存储器1220、输入单元1230、显示单元1240、传感器1250、音频电路1260、无线保真（wireless fidelity，简称WiFi）模块1270、处理器1280、以及电源1290等部件。本领域技术人员可以理解，图12中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图12对手机的各个构成部件进行具体的介绍：

RF电路1210可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1280处理；另外，将设计上行的数据发送给基站。通常，RF电路1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器（Low NoiseAmplifier，简称LNA）、双工器等。此外，RF电路1210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（Global System of Mobile communication，简称GSM）、通用分组无线服务（GeneralPacket Radio Service，简称GPRS）、码分多址（Code Division Multiple Access，简称CDMA）、宽带码分多址（Wideband Code Division Multiple Access，简称WCDMA）、长期演进（Long Term Evolution，简称LTE）、电子邮件、短消息服务（Short Messaging Service，简称SMS）等。

存储器1220可用于存储软件程序以及模块，处理器1280通过运行存储在存储器1220的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1230可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1230可包括触控面板1231以及其他输入设备1232。触控面板1231，也称为触摸屏，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触控面板1231上或在触控面板1231附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1280，并能接收处理器1280发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231，输入单元1230还可以包括其他输入设备1232。具体地，其他输入设备1232可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1240可包括显示面板1241，可选的，可以采用液晶显示器（LiquidCrystal Display，简称LCD）、有机发光二极管（Organic Light-Emitting Diode，简称OLED）等形式来配置显示面板1241。进一步的，触控面板1231可覆盖显示面板1241，当触控面板1231检测到在其上或附近的触摸操作后，传送给处理器1280以确定触摸事件的类型，随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。虽然在图12中，触控面板1231与显示面板1241是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1231与显示面板1241集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1250，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1241和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1260、扬声器1261，传声器1262可提供用户与手机之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号，传输到扬声器1261，由扬声器1261转换为声音信号输出；另一方面，传声器1262将收集的声音信号转换为电信号，由音频电路1260接收后转换为音频数据，再将音频数据输出处理器1280处理后，经RF电路1210以发送给比如另一手机，或者将音频数据输出至存储器1220以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图12示出了WiFi模块1270，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1280是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1220内的软件程序和/或模块，以及调用存储在存储器1220内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1280可包括一个或多个处理单元；优选的，处理器1280可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1280中。

手机还包括给各个部件供电的电源1290（比如电池），优选的，电源可以通过电源管理系统与处理器1280逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本实施例中，该终端设备所包括的处理器1280还具有以下功能：

本申请实施例还提供一种服务器，请参见图13所示，图13为本申请实施例提供的服务器1300的结构图，服务器1300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器（Central Processing Units，简称CPU）1322（例如，一个或一个以上处理器）和存储器1332，一个或一个以上存储应用程序1342或数据1344的存储介质1330（例如一个或一个以上海量存储设备）。其中，存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1322可以设置为与存储介质1330通信，在服务器1300上执行存储介质1330中的一系列指令操作。

服务器1300还可以包括一个或一个以上电源1326，一个或一个以上有线或无线网络接口1350，一个或一个以上输入输出接口1358，和/或，一个或一个以上操作系统1341，例如Windows ServerTM，Mac OS XTM，UnixTM, LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于图13所示的服务器结构。

本申请实施例还提供一种计算机可读存储介质，用于存储计算机程序，该计算机程序用于执行前述各个实施例所述的道路问题确定方法中的任意一种实施方式。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器（英文：read-only memory，缩写：ROM）、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims

1.一种道路问题确定方法，其特征在于，所述方法包括：

基于所述道路综合问题数据中待定道路问题点的位置顺序，通过采样窗依次从所述道路综合问题数据中选取处于所述采样窗中的待定道路问题点以及对应的问题点位置；

2.根据权利要求1所述的方法，其特征在于，所述采样窗为N个采样窗，针对第i个采样窗，所述根据所述采样窗选取的问题点位置对待定道路问题点进行聚类，确定所述目标道路中的道路问题点，包括：

根据第i个采样窗选取的问题点位置，确定第i个采样窗所选取的待定道路问题点间的距离差，1≤i≤N；

3.根据权利要求2所述的方法，其特征在于，所述若所述距离差中有超出距离阈值的距离差，通过第i个采样窗选取的问题点位置对待定道路问题点进行聚类，确定所述目标道路在第i个采样窗中的道路问题点，包括：

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若通过第i个采样窗所选取的待定道路问题点的数量小于数量阈值，且所述距离差小于所述距离阈值，将通过第i个采样窗所选取的待定道路问题点确定为同一个道路问题点。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述图像采集元件包括多个图像采集单元，目标采集单元为所述多个图像采集单元中的至少一个，所述方法还包括：

获取所述路况图像数据中所述目标采集单元在目标时间段内采集的路况图像帧；

根据所述路况图像帧确定所述巡检车辆的第一位置变化参数；

根据在所述目标时间段内的所述车辆惯性数据确定所述巡检车辆的第二位置变化参数；

通过所述第一位置变化参数和所述第二位置变化参数确定所述惯性测量元件的速度偏差值；

根据所述速度偏差值对所述车辆惯性数据进行偏差调整；

所述根据所述车辆惯性数据确定对应目标道路的第一道路问题信息，包括：

6.根据权利要求1-4任意一项所述的方法，其特征在于，所述图像采集元件包括第一采集组件和第二采集组件；

7.根据权利要求6所述的方法，其特征在于，所述路况图像数据包括左目路况子图像和右目路况子图像，所述根据所述路况图像数据确定所述目标道路的第二道路问题信息，包括：

所述深度网络模型通过如下方式训练得到：

通过对所述初始网络模型训练得到所述深度网络模型。

8.根据权利要求6所述的方法，其特征在于，所述路况图像数据包括第一路况子图像和第二路况子图像，所述根据所述路况图像数据确定所述目标道路的第二道路问题信息，包括：

9.一种道路问题确定装置，其特征在于，所述装置包括第一获取单元、第一确定单元、第二确定单元、选取单元和第三确定单元：

所述选取单元，用于基于所述道路综合问题数据中待定道路问题点的位置顺序，通过采样窗依次从所述道路综合问题数据中选取处于所述采样窗中的待定道路问题点以及对应的问题点位置；

10.一种计算机设备，其特征在于，所述设备包括处理器以及存储器：

所述处理器用于根据所述程序代码中的指令执行权利要求1-8中任意一项所述的道路问题确定方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1-8中任意一项所述的道路问题确定方法。