CN115571146B - 一种基于空地协同的矿区车辆行驶主动感知方法和装置 - Google Patents

Abstract

本申请公开了一种基于空地协同的矿区车辆行驶主动感知方法和装置，涉及自动驾驶技术领域。其中所述方法包括：获取第一车辆的第一待检测目标、第一新增待检测目标、第一删除待检测目标；获取所述无人机为所述第一车辆或其他车辆行驶而检测的第二目标；从所述第一无人机的第二目标中删除满足条件的所述第一删除待检测目标；将所述第一新增待检测目标加入所述第二目标，将重新聚类后的第二目标分配给所述无人机；所述无人机对所述第二目标进行感知；获取所述第二目标中的第一待检测目标，将其信息回传给所述第一车辆。该方法基于空地协同和主动感知提高了矿区车辆感知行驶环境的准确性。

Description

一种基于空地协同的矿区车辆行驶主动感知方法和装置

技术领域

本申请涉及自动驾驶领域，尤其涉及基于空地协同的矿区车辆行驶主动感知方法和装置、电子设备、存储介质、程序产品和自动驾驶车辆。

背景技术

自动驾驶技术是一种通过计算机实现辅助驾驶或无人驾驶的技术，其依靠可见光相机、毫米波雷达、激光雷达、惯性导航系统、全球定位系统等传感系统，使计算机可以部分或全部代替人类驾驶员自动安全地操作车辆。

现有技术中，自动驾驶技术主要应用于标准道路场景。然而在矿区等非标准道路场景中，缺乏平整硬化的道路，地面起伏不平。单纯依赖车辆本身的感知技术不足以准确全面地获取矿区等非标准道路场景的信息，而无人机以其高机动性和空中俯拍视角可以在矿区等非标准道路场景中方便的获取信息。

发明内容

本申请提供了一种基于空地协同的矿区车辆行驶主动感知方法和装置、存储介质、车辆。

根据本申请的第一方面，提供了一种基于空地协同的矿区车辆行驶主动感知方法，包括：

车辆待检测目标获取步骤，基于第一车辆的传感器感知到的第一目标，获取需要进一步感知的第一待检测目标；基于所述第一待检测目标的历史数据，确定第一待检测目标中新增的第一新增待检测目标，以及删除的第一删除待检测目标；

无人机检测目标获取步骤，获取所述无人机为所述第一车辆或其他车辆行驶而检测的第二目标；

无人机检测目标删除步骤，响应于所述第一车辆的第一删除待检测目标存在于第一无人机的第二目标中，并且所述第一删除待检测目标不属于所述第一无人机为其他车辆检测的目标，从所述第一无人机的第二目标中删除所述第一删除待检测目标；

无人机检测目标新增步骤，响应于所述第一车辆的第一新增待检测目标不存在于所述无人机的第二目标中，将所述第一新增待检测目标加入所述第二目标，将所述第二目标按照所述无人机的第二数量和位置获取第二数量的聚类簇，将所述聚类簇中的第二目标分配给所述无人机；所述无人机对所述第二目标进行感知；

车辆待检测目标信息回传步骤，获取所述第二目标中的第一待检测目标，将所述第一待检测目标的信息回传给所述第一车辆，作为所述第一车辆的主动感知信息。

根据本申请的第二方面，提供了一种基于空地协同的矿区车辆行驶主动感知装置，包括：

车辆待检测目标获取模块，基于第一车辆的传感器感知到的第一目标，获取需要进一步感知的第一待检测目标；基于所述第一待检测目标的历史数据，确定第一待检测目标中新增的第一新增待检测目标，以及删除的第一删除待检测目标；

无人机检测目标获取模块，获取所述无人机为所述第一车辆或其他车辆行驶而检测的第二目标；

无人机检测目标删除模块，响应于所述第一车辆的第一删除待检测目标存在于第一无人机的第二目标中，并且所述第一删除待检测目标不属于所述第一无人机为其他车辆检测的目标，从所述第一无人机的第二目标中删除所述第一删除待检测目标；

无人机检测目标新增模块，响应于所述第一车辆的第一新增待检测目标不存在于所述无人机的第二目标中，将所述第一新增待检测目标加入所述第二目标，将所述第二目标按照所述无人机的第二数量和位置获取第二数量的聚类簇，将所述聚类簇中的第二目标分配给所述无人机；所述无人机对所述第二目标进行感知；

车辆待检测目标信息回传模块，获取所述第二目标中的第一待检测目标，将所述第一待检测目标的信息回传给所述第一车辆，作为所述第一车辆的主动感知信息。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器，存储器，以及与其他电子设备通信的通信接口；

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行第一方面所述的基于空地协同的矿区车辆行驶主动感知方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的基于空地协同的矿区车辆行驶主动感知方法。

根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的基于空地协同的矿区车辆行驶主动感知方法。

根据本申请的第六方面，提供了一种自动驾驶车辆，包括根据第三方面所述的电子设备。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

与现有技术相比，本发明的有益效果是：

（1）不同于传统技术中地面车辆和空中无人机的被动联合感知模式，设计了空中无人机和地面车辆的主动联合感知模式，消除了感知死角。在待检测目标超出空中无人机的当前感知范围时，通过空中无人机的主动感知动作（飞行路线、飞行姿态、感知参数调整），调整到新的位置/姿态/参数对待检测目标进行感知。

（2）矿区路况情况复杂，设计了基于地面车辆和空中无人机的空地协同路况感知方法。根据地面车辆自身无法准确感知、但又需要感知的第一待检测目标为目标，通过空中无人机和/或地面车辆的主动感知动作，将空中无人机和/或地面车辆的传感器的感知范围覆盖到第一待检测目标。通过空地协同扩展了地面车辆所行驶的路况的检测目标范围。

（3）空中无人机感知范围大并且机动性高，地面车辆由于路况复杂难以大范围移动进行主动感知。设计了以空中无人机为主，地面车辆为辅的主动感知模式。通过空中无人机的高机动性提升了感知效率，降低了地面车辆行驶遇险的可能性。

（4）空中无人机实时检测第二目标，所述第二目标可以是多台地面车辆所需要的目标，空中无人机接收到地面车辆的新需求（第一待检测目标）时，设计多车辆主动感知动作，综合考虑保持第二目标，并同时检测新的第一待检测目标。在无法兼顾时，可以优先检测优先级/置信度高的第二目标，或者通过运动在两个时刻分别检测包含第一待检测目标、第二目标的目标。通过这种方式，空中无人机可以兼顾多台地面车辆的主动感知需求，提高了检测覆盖范围，降低了空地协同系统的成本。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1示出了根据本申请一个实施例提供的非标准道路场景的示意图；

图2示出了根据本申请一个实施例提供的基于空地协同的矿区车辆行驶主动感知方法的示意图；

图3示出了根据本申请一个实施例提供的基于空地协同的矿区车辆行驶主动感知装置的示意图；

图4示出了根据本申请一个实施例提供的电子设备的示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

所涉及的技术术语包括：

标准道路场景：标准道路是指符合道路交通相关法律法规规定的、具有特定标线标识等信息、道路路面经过平整硬化的道路。标准道路场景下，自动驾驶技术可以通过规范的道路标线、标识等信息来获取准确的道路信息，也可以与交通基础设施进行规范的信息交换，从而获得自动驾驶所必需的环境信息。

非标准道路场景：非标准道路场景是指不具备道路交通相关法律法规规定的标线标识等信息的道路。一部分非标准道路经过平整硬化，例如单位内部道路。还有一部分非标准道路，没有经过平整硬化，地面起伏不平，例如野外环境等自然场景，又例如矿山矿井等特定作业场景。

车辆底部信息：车辆底部包括车辆的车轮和底盘。在经过起伏不平的道路时，车辆底部是检验车辆能否平稳通过的主要影响因素。主要是底部的车轮区域要接触地面，尽量减少悬空的车轮；以及底部的底盘区域要避免和地面剐蹭。虽然矿区车辆已经有意的加大了车轮和加高了底盘，但仍然需要考虑车辆底部能否平稳通过起伏比较大的矿区作业道路。

环境信息：车辆在行驶时，自动驾驶相关的传感器会获取周围地面的三维数据。例如基于激光雷达。在激光雷达获取的数据中，环境信息以点云的形式给出。

点云：点云是指点数据的集合。点云可以通过摄影测量原理或激光测量原理获得。根据激光测量原理获得的点云，包括三维坐标（XYZ）和激光回波强度（intensity），根据摄影测量原理获得的点云，包括三维坐标（XYZ）和颜色信息（RGB）。

坐标系：在传感器采集时，获取的三维点的坐标系一般是传感器坐标系。根据数据处理的需要，三维点的坐标系有时候需要转换到其他坐标系，例如地面坐标系、车辆坐标系。

空地协同：传统的空地协同是指航空无人机和地面部队之间的协同。车辆自动驾驶领域的空地协同，指的是地面车辆与航空无人机（特别是无人无人机）之间的协同。对于矿区、野外等非标准道路场景，由于路况非标准且复杂常变，因此安装固定位置的车路协同路侧设备并不现实。因此矿区、野外等非标准道路场景更适合基于无人无人机的空地协同。

主动感知：主动感知是指机器人如何规划和控制自身行为使其更好地感知。车辆自动驾驶领域的主动感知要求车辆规划和控制自身行为使其更好地感知，或调动相关的其他传感器平台的行为使其更好地感知。

飞行路线调整/车辆路线调整：出于主动感知的需要，无人机/车辆的当前位置其传感器不足以获取足够的感知信息（即存在自身无法准确感知、但又需要感知的第一待检测目标），因此需要进行路线调整，以移动到新的位置获取所述第一待检测目标的信息。一般来说，路线调整的最终目的是为了车辆行驶而获取足够的信息。无人机路线调整获取的信息，也会传输到车辆。

飞行姿态调整/车辆姿态调整：出于主动感知的需要，无人机/车辆的当前姿态其传感器不足以获取足够的感知信息（即存在自身无法准确感知、但又需要感知的第一待检测目标），因此需要进行姿态调整，以获取所述第一待检测目标的信息。姿态调整包括无人机/车辆本身的朝向的调整，也包括无人机传感器/车辆传感器本身的调整，例如镜头方向、扫描方向。一般来说，姿态调整的最终目的是为了车辆行驶而获取足够的信息。无人机姿态调整获取的信息，也会传输到车辆。

无人机感知参数调整/车辆感知参数调整：出于主动感知的需要，无人机/车辆传感器的当前感知参数不足以获取足够的感知信息（即存在自身无法准确感知、但又需要感知的第一待检测目标），因此需要进行感知参数的调整，以获取所述第一待检测目标的信息。感知参数的调整例如分辨率的调整，镜头聚焦的调整。一般来说，感知参数调整的最终目的是为了车辆行驶而获取足够的信息。无人机路线调整获取的信息，也会传输到车辆。

实施例一

图1是非标准道路场景的示意图。

目前的现有技术中，自动驾驶技术主要应用于标准道路场景。标准道路场景下，一般路面是平整硬化的。

非标准道路场景下，有一些道路是没有经过平整硬化的，例如野外环境等自然场景，例如乡村土路等农业环境场景，又例如矿山矿井等特定作业场景。非标准道路场景中的道路所在地面往往是不平整的、并且容易发生改变。例如在农业环境场景，道路所在地面有可能会随着车辆碾压、雨水侵蚀而起伏变化；又例如在矿山场景，道路所在地面有可能会随着矿物的堆积而改变。

矿区等非标准道路场景下的路况信息的获取至少存在存在如下困难：

（1）地面起伏不平和复杂多变，矿区车辆行驶前难以实时掌握所在路况的实时情况，贸然行驶以“探路”具有较大的风险；而使用人力探测最新的路况变化则需要较大的人力成本；因此需要一种尽量减少车辆“试错成本”的路况检测方法；

（2）现有的无人机可以采用空中跟随模式随着地面车辆运动。但无人机以跟随模式所获取的信息，可能并不是地面车辆真正需要的信息。地面车辆如果想让无人机获取指定位置的信息，只能以手动遥控的方式调整无人机，费事费力。因此需要一种能够自动获取地面车辆所需要的真正信息，并且自动调整无人机飞行路线/位姿/感知参数的方法。

本实施例基于地面车辆和空中无人机的主动感知，来更加准确和实时地检测车辆所在路况。

图2示出了基于空地协同的矿区车辆行驶主动感知方法的示意图。

本申请实施例提供的基于空地协同的矿区车辆行驶主动感知方法，包括如下步骤：

S110车辆待检测目标获取步骤，基于第一车辆的传感器感知到的第一目标，获取需要进一步感知的第一待检测目标；基于所述第一待检测目标的历史数据，确定第一待检测目标中新增的第一新增待检测目标，以及删除的第一删除待检测目标；

S120无人机检测目标获取步骤，获取所述无人机为所述第一车辆或其他车辆行驶而检测的第二目标；

S130无人机检测目标删除步骤，响应于所述第一车辆的第一删除待检测目标存在于第一无人机的第二目标中，并且所述第一删除待检测目标不属于所述第一无人机为其他车辆检测的目标，从所述第一无人机的第二目标中删除所述第一删除待检测目标；

S140无人机检测目标新增步骤，响应于所述第一车辆的第一新增待检测目标不存在于所述无人机的第二目标中，将所述第一新增待检测目标加入所述第二目标，将所述第二目标按照所述无人机的第二数量和位置获取第二数量的聚类簇，将所述聚类簇中的第二目标分配给所述无人机；所述无人机对所述第二目标进行感知；

S150车辆待检测目标信息回传步骤，获取所述第二目标中的第一待检测目标，将所述第一待检测目标的信息回传给所述第一车辆，作为所述第一车辆的主动感知信息。

所述车辆待检测目标获取步骤S110中：

所述空地协同单元所在的实体或虚拟设备，为：

所述车辆的计算设备；或，

所述无人机的计算设备；或，

服务器；或，

服务器指定的其他设备；

所述实体或虚拟设备之间具有通讯连接，所述通讯连接用于不同设备之间协同信息。

所述车辆待检测目标获取步骤中，将置信度和/或精度不满足预设检测要求的所述第一目标，作为所述第一待检测目标。置信度的所述预设检测要求，是检测所述第一目标的算法得出的置信度的预设阈值，例如置信度阈值为60%，则低于所述置信度阈值的第一目标均作为第一待检测目标，需要重新检测，在本申请的主要实施方式中，是依靠空地协同的无人机对所述第一待检测目标进行重新检测。精度的所述预设检测要求与置信度类似。第一待检测目标的筛选指标还可以采用本领域的其他常见指标或指标的组合。

所述车辆待检测目标获取步骤中，所述第一待检测目标，由所述第一车辆或所述第一车辆之外的设备基于所述第一车辆的行驶路线确定。所述第一待检测目标，可以不经由所述第一车辆的传感器实时获取到信息而确定，可以有如下实现方式：

（1）所述第一车辆历史上获取到的第一目标而确定所述第一待检测目标；所述历史信息可以是上一时刻获取的第一目标，也可以是若干时刻之前获取的第一目标；

（2）所述第一车辆根据其行驶路线获取行驶路线上待检测的目标；

例如根据行驶路线从地图中查找待检测目标；

（3）所述第一车辆之外的设备，例如服务器、位于其他设备上的控制单元（所述空地协同单元也可以是所述控制单元）来确定；例如所述设备通过检测发现了所述第一车辆在其行驶路线上需要检测的目标，从而将所述目标作为所述第一车辆的第一待检测目标。在所述第一车辆之外的设备确定所述第一待检测目标时，所述第一待检测目标不必在所述第一车辆中产生或存储，而是可以直接传输到所述空地协同单元中。

所述无人机检测目标获取步骤S120中，

所述第二目标为所述无人机实时检测到的目标，或所述无人机检测到的历史目标。

当所述第二目标为历史目标时，从中筛选有效期满足预定有效期阈值的所述第二目标。

所述无人机检测目标删除步骤S130中，

为所述第一删除待检测目标设置缓存时长，在所述缓存时长之后正式产生所述第一删除待检测目标。

进一步地，获取所述第一删除待检测目标的目标重要程度，基于所述目标重要程度设置所述缓存时长。

所述无人机检测目标新增步骤S140中，包括：

响应于所述无人机对应的聚类簇中的第二目标均位于所述无人机的感知范围之内，所述无人机的飞行路线和飞行姿态不变对所述聚类簇中的第二目标进行感知；

响应于所述无人机对应的聚类簇中的第二目标均位于所述无人机的感知范围之外，并且所述聚类簇中的第二目标的散布超出了所述无人机静止时的感知能力时，所述无人机调整飞行路线和飞行姿态对所述聚类簇中的第二目标进行感知；

响应于所述无人机对应的聚类簇中的第二目标均位于所述无人机的感知范围之外，并且所述聚类簇中的第二目标的散布超出了所述无人机静止时的感知能力时，所述无人机选择所述聚类簇中的部分第二目标进行感知，或所述无人机在运动中对所述聚类簇中的第二目标进行感知。

所述无人机选择所述聚类簇中的部分第二目标进行感知：

根据第二目标的优先级和/或置信度，选择所述第二目标的子集；所述第二目标的子集包括所述车辆的第一新增待检测目标；

设置所述无人机的飞行路线和飞行姿态，使得所述无人机的感知范围覆盖所述第二目标的子集。

所述无人机在运动中对所述聚类簇中的第二目标进行感知：

根据所述第二目标的位置，将第二目标划分为重叠或不重叠的子集；设置所述飞行器在运动中的不同时刻的感知范围覆盖不同的所述子集。

当所述第二目标位于所述无人机的感知范围之内，但不足以采集到符合置信度/精度/质量的预设要求的所述第二目标时，调整所述无人机的感知参数以符合所述预设要求。

所述车辆待检测目标信息回传步骤S150中，

所述第一待检测目标的信息包括信息采集时间，所述第一车辆根据所述信息采集时间使用所述第一待检测目标的信息。

所述车辆待检测目标信息回传步骤中，当回传的所述第一待检测目标不满足所述第一车辆的行驶需要时：

所述空地协同单元继续执行所述无人机检测目标新增步骤以重新感知所述第一待检测目标；或，所述第一车辆调整行驶路线和/或行驶姿态感知所述第一待检测目标。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

实施例二

本实施例对空地协同的情形进行了说明，其余部分与实施例一相同。

所述第一车辆为主设备，所述无人机为从设备；

空地协同单元位于所述第一车辆；所述空地协同单元获取所述第一车辆的所述第一车辆视觉传感器获取的路况信息；

所述第一目标是所述第一车辆视觉传感器能够检测到的、与所述第一车辆行驶相关的目标；举例来说，所述第一目标包括在所述第一车辆附近的若干障碍物、车辆难以通过的凹陷地面、山下坡地形；

所述第一目标无法穷尽所有所述第一车辆行驶所需的检测目标，存在一些应当检测而未检测到的目标（第一待检测目标）。举例来说，所述第一车辆附近的其他车辆或障碍物对所述第一车辆的车辆视觉传感器形成了部分遮挡导致看不到障碍物A的完整信息，或者所述第一车辆视觉传感器对于较远的障碍物B难以清楚准确地检测到，或者前向车辆视觉传感器无法检测到位于车辆左侧的障碍物C。

上述几种情形仅仅是举例，并不能完全穷尽所述第一待检测目标的全部示例。所述第一待检测目标除了可以从所述第一车辆视觉传感器感知到的当前信息或历史信息中获得线索，还可以基于所述第一车辆视觉传感器无法感知到的检测目标而获得线索。

举例来说，所述第一车辆获取（例如从服务器）正常行驶所需要的检测目标全集，从中减去所述所述第一车辆视觉传感器能够检测到的第一目标，即得到需要检测的第一待检测目标。上述基于减法的方式，也是一种具体实现方式。

所述第一车辆将所述第一待检测目标发送给所述无人机，所述无人机比较所述第一待检测目标的位置与所述无人机的当前感知范围之间的关系。根据需要设置无人机的主动感知动作。

在所述第一车辆为主设备时，所述无人机可以是多架。此时，所述第一车辆的第一待检测目标发送给所述无人机中的一架或多架。多个所述第一待检测目标在多个所述无人机之间分配时，可以采用多种分配策略。

按照是否重叠划分，可以将所述第一待检测目标无交叠地划分给多台无人机，或者交叠地分配给多台无人机。对于交叠的划分方式，当一个第二目标有两台或以上的无人机去感知时，可以融合多台无人机的感知结果。

按照所述第一待检测目标需要的无人机数量，所述无人机可以按照与待检测目标的距离/优先级/置信度等因素进行分配。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

实施例三

本实施例对空地协同的情形进行了说明，其余部分与实施例一相同。

所述无人机为主设备，所述车辆为从设备；

空地协同单元位于所述无人机；所述空地协同单元获取所述车辆的所述车辆视觉传感器获取的路况信息；

所述第一车辆获取正常行驶所需要的第一待检测目标；获取方式如前述实施方式所述；

所述第一目标无法穷尽所有所述第一车辆行驶所需的检测目标，存在一些应当检测而未检测到的目标（第一待检测目标）；

所述第一车辆将所述第一待检测目标发送给所述无人机。

在所述无人机为主设备时，所述车辆可以是多辆。此时，多个车辆的第一待检测目标发送给所述无人机。所述无人机接收到多个车辆的多个所述第一待检测目标时，要采用合理的策略以照顾到所有车辆的需求。

当一部分第一待检测目标位于所述无人机当前的感知范围之内时，即所述无人机不必调整即可感知到所述第一待检测目标，不必调整所述飞行路线和飞行姿态。

当一部分第一待检测目标位于所述无人机当前的感知范围之外时，调整所述飞行路线和/或所述飞行姿态，使得所述无人机视觉传感器的感知范围同时包括所述无人机的原检测目标和新增的检测目标。

所述第二目标，是所述无人机应当检测的目标集合，而不是所述无人机能够检测到的所有目标。所述第二目标，可以是来自于所述空地协同单元转发的请求所述无人机感知的目标。

当所述无人机在同一时刻只能检测所述第二目标的一部分时：

（1）根据第二目标的优先级和/或置信度，选择所述第二目标的子集；所述第二目标的子集包括所述车辆的第一新增待检测目标；设置所述无人机的飞行路线和飞行姿态，使得所述无人机的感知范围覆盖所述第二目标的子集。

（2）将所述第二目标重叠或不重叠地划分为不同子集

调整所述飞行路线、所述飞行姿态，使得所述无人机视觉传感器的感知范围在不同的时刻可以检测所述不同子集。

例如，如果无人机通过两个动作（两个时刻）进行检测。其各个子集的划分方式可以是：第一时刻的子集包括所述第一子集，在第二时刻的子集包含所述第二子集。

其子集的拆分方式还可以是按照第二目标的坐标/优先级等属性进行排序再拆分。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

实施例四

本实施例对空地协同的情形进行了说明，其余部分与实施例一相同。

所述无人机、所述车辆为逻辑上具有相同地位的设备。此时所述无人机和所述车辆可以进行一对多、多对一、多对多匹配。

所述空地协同单元可以位于所述无人机、或所述车辆、或服务器。所述空地协同单元可以只有一个，所述空地协同单元可以在不同时刻位于不同的设备。当所述空地协同单元转移到新的设备时，所述其他设备将与所述新的设备建立通信连接。

所述空地协同单元起着协调所述无人机、所述车辆的作用。

下面以所述无人机和所述车辆为多对多为例进行说明，一对多、多对一的情形是上述多对多的特例。

假设存在无人机A、无人机B、车辆X、车辆Y、车辆Z。假设所述车辆X、车辆Y、车辆Z是排成一队行驶。

假设所述空地协同单元位于所述无人机A，则所有其他设备与所述无人机A建立通信连接。

假设当前时刻为t1：

所述车辆X，当期时刻t1具有第一待检测目标为，目标1、目标2、目标3；

所述车辆Y，当期时刻t1具有第一待检测目标为，目标2、目标3、目标4；

所述车辆Z，当期时刻t1具有第一待检测目标为，目标4、目标5。

假设当期时刻t1所述无人机A的感知目标包括：空；

假设当期时刻t1所述无人机B的感知目标包括：空。

在当前时刻t1，所述空地协同单元收集所述车辆X、车辆Y、车辆Z的第一待检测目标。第一待检测目标的集合为：目标1、目标2、目标3、目标4、目标5。所述空地协同单元收集所述无人机A、无人机B当前的检测目标集合为空集合。

所述空地协同单元分析所述第一待检测目标的位置分布，对其进行空间位置的聚类为两个子集：第一子集包括目标1、目标2、目标3；第二子集包括目标4、目标5。并将第一子集分配给无人机A，将第二子集分配给无人机B。在分配时，基于所述无人机A的感知范围与所述第一子集中目标的地理位置分布相匹配，所述无人机B的感知范围与所述第二子集中目标的地理位置分布相匹配；

所述无人机A、无人机B进行飞行路线调整、飞行姿态调整，调整到新的位置，以分别进行所述第一子集、第二子集的感知。

假设下一时刻t2：

无人机A、B移动到新的位置。

下一时刻t2所述无人机A的感知目标包括：目标1、目标2、目标3；

下一时刻t2所述无人机B的感知目标包括：目标4、目标5。

所述车辆X，下一时刻t2具有第一待检测目标为，目标2、目标3、目标5；

所述车辆Y，当期时刻t1具有第一待检测目标为，目标3、目标4、目标5；

所述车辆Z，当期时刻t1具有第一待检测目标为，目标5、目标6。

所述空地协同单元收集所述车辆X、Y、Z的第一待检测目标为：目标2、目标3、目标4、目标5、目标6。

所述空地协同单元对所述第一待检测目标进行分类，并与历史数据中的第一待检测目标进行比较，得到如下目标集合：

（1）第一删除待检测目标：目标1；

（2）第一新增待检测目标：目标6；

（3）第一待检测目标：目标2、目标3、目标4、目标5、目标6。

所述空地协同单元从所述无人机A、B的感知目标中去除所述第一删除待检测目标。获得所述无人机A、B的感知目标如下：

（1）无人机A的感知目标包括：目标2、目标3；

（2）无人机B的感知目标包括：目标4、目标5；

所述空地协同单元将新增待检测单元与所述无人机A、B的感知范围进行比较。为每个第一新增待检测目标，选择合适的无人机加入。

对于目标6，判断其与无人机A、B各自的感知范围的关系，选择无人机B的感知范围加入。获得所述无人机A、B的感知目标如下：

（1）无人机A的感知目标包括：目标2、目标3；

（2）无人机B的感知目标包括：目标4、目标5、目标6；

当所述无人机B视觉传感器的感知范围无法同时包括所述目标4、目标5、目标6时，具有如下两种处理方法：

（1）目标6属于新增的第一待检测目标，属于必须检测的范围；目标4、5属于无人机B的历史检测目标，可以适当地取舍。

根据目标4、目标5的优先级和/或置信度，选择其子集（假设目标5的优先级和/或置信度更高）；设置所述飞行路线调整、所述飞行姿态调整，使得所述无人机B视觉传感器的感知范围同时包括所述目标5（子集）和目标6（第一检测位置）。

（2）无人机B的目标并集为目标4、目标5、目标6

假设，将所述并集拆分为两个子集：第一子集、第二子集。就可以使得无人机B在两个时刻覆盖到所述并集。

设置所述飞行路线调整、所述飞行姿态调整，使得所述无人机视觉传感器的感知范围在不同的时刻可以检测所述并集的子集。

例如，将所述并集拆分为两个子集：第一子集（目标4、目标5）、第二子集（目标5、目标6）。无人机B通过两个动作（两个时刻）可以检测到所述并集。其各个子集的划分方式可以是：第一时刻无人机B检测第一子集（目标4、目标5），在第二时刻无人机B检测第二子集（目标6）。

又例如，将所述并集拆分为两个子集：第一子集（目标4、目标5）、第二子集（目标6）。无人机通过两个动作（两个时刻）可以检测到所述并集。其各个子集的划分方式可以是：第一时刻无人机B检测第一子集（目标4、目标5），在第二时刻无人机B检测第二子集（目标5、目标6）。

其各个时刻子集的拆分方式还可以是按照位置的坐标/优先级等属性进行排序再拆分，此时所述第二位置可能被拆分到不同时刻的子集。例如将所述并集拆分为两个子集：第一子集（目标4、目标6）、第二子集（目标5）。第一时刻无人机B检测第一子集（目标4、目标6），在第二时刻无人机B检测第二子集（目标5）。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

实施例五

针对上述非标准道路场景的问题，本申请实施例提供了一种驾驶辅助装置。驾驶辅助装置如附图3所示，包括：

车辆待检测目标获取模块110，基于第一车辆的传感器感知到的第一目标，获取需要进一步感知的第一待检测目标；基于所述第一待检测目标的历史数据，确定第一待检测目标中新增的第一新增待检测目标，以及删除的第一删除待检测目标；

无人机检测目标获取模块120，获取所述无人机为所述第一车辆或其他车辆行驶而检测的第二目标；

无人机检测目标删除模块130，响应于所述第一车辆的第一删除待检测目标存在于第一无人机的第二目标中，并且所述第一删除待检测目标不属于所述第一无人机为其他车辆检测的目标，从所述第一无人机的第二目标中删除所述第一删除待检测目标；

无人机检测目标新增模块140，响应于所述第一车辆的第一新增待检测目标不存在于所述无人机的第二目标中，将所述第一新增待检测目标加入所述第二目标，将所述第二目标按照所述无人机的第二数量和位置获取第二数量的聚类簇，将所述聚类簇中的第二目标分配给所述无人机；所述无人机对所述第二目标进行感知；

车辆待检测目标信息回传模块150，获取所述第二目标中的第一待检测目标，将所述第一待检测目标的信息回传给所述第一车辆，作为所述第一车辆的主动感知信息。

上述模型训练装置和驾驶辅助装置的各个模块的有益效果参见前述实施例，此处不再赘述。

值得说明的是，本申请实施例并不限定驾驶辅助装置的应用场景的具体实现，其可以根据实际情况确定，此处不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

实施例六

如图4所示，在本实施例中，一种电子设备600，包括：

至少一个处理器601，存储器608，以及与其他电子设备通信的通信接口609；所述存储器608存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行前述实施例中的基于空地协同的矿区车辆行驶主动感知方法。

电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。该电子设备可以是上述的第一设备，也可以是车辆控制设备，或者车辆上的控制中心，对此本方案不做限制。

如图4所示，该电子设备还包括：一个或多个ROM602、RAM603、总线604、I/O接口605、输入单元606、输出单元607等，以及用于连接各部件的接口，包括高速接口和低速接口，以及与其他电子设备进行通信的通信接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上 以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。本实施例中以一个处理器601为例。

存储器608即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的方法。存储器608作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、 非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器601通过运行存储在存储器608中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器608可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据自动驾驶车辆的控制的电子设备的使用所创建的数据等。此外，存储器608可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器608可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

电子设备的各个部件可以通过总线或者其他方式连接，本实施例中以通过总线连接为例。

输入单元606可接收输入的数字或字符信息，以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出单元607可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

实施例七

根据本实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据前述实施例所述的基于空地协同的矿区车辆行驶主动感知方法。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

实施例八

根据本实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据前述实施例所述的基于空地协同的矿区车辆行驶主动感知方法。

上述实施例所述的存储有计算机程序的计算机可读存储介质和计算机程序产品，这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。本实施例对其不做具体限定。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

实施例九

根据本实施例提供了一种自动驾驶车辆，包括根据上述实施例所述的模型训练装置或上述实施例所述的驾驶辅助装置。

可以理解的是，本实施例同样适用于有人驾驶车辆，有人驾驶车辆可以基于获取到的道路信息以提供给驾驶员提示或自动控制等形式辅助控制车辆的运行。其中，有些车辆内设置有行车电脑或车载单元(on board unit，OBU)，有些车辆内搭载有用户终端例如手机，以及持有用户终端的用户等。车辆内的手机、行车电脑或OBU可作为实施模型训练或驾驶辅助的电子设备。

可以理解的是，本实施例同样适用于智能交通网络中，该智能交通网络中可以包括多辆可以进行无线通信的车辆、和各个车辆进行无线通信的交通控制设备、远程服务器、路侧设备、基站，其中，远程服务器或交通控制设备还可以对交通设施进行控制等等。

本实施例并不对车辆的类型、数量、应用场景进行限定。

本实施例可以单独被实施，也可以与其他实施例一起被实施。

应该理解，本申请描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数 据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。可以将本申请描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据 服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界 面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计 算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本申请在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (9)

1.一种基于空地协同的矿区车辆行驶主动感知方法，应用于空地协同单元，所述空地协同单元用于协同第一数量的车辆和第二数量的无人机，包括：

车辆待检测目标获取步骤，基于第一车辆的传感器感知到的第一目标，获取需要进一步感知的第一待检测目标；基于所述第一待检测目标的历史数据，确定第一待检测目标中新增的第一新增待检测目标，以及删除的第一删除待检测目标；

无人机检测目标获取步骤，获取所述无人机为所述第一车辆或其他车辆行驶而检测的第二目标；

无人机检测目标删除步骤，响应于所述第一车辆的第一删除待检测目标存在于第一无人机的第二目标中，并且所述第一删除待检测目标不属于所述第一无人机为其他车辆检测的目标，从所述第一无人机的第二目标中删除所述第一删除待检测目标；

无人机检测目标新增步骤，响应于所述第一车辆的第一新增待检测目标不存在于所述无人机的第二目标中，将所述第一新增待检测目标加入所述第二目标，将所述第二目标按照所述无人机的第二数量和位置获取第二数量的聚类簇，将所述聚类簇中的第二目标分配给所述无人机；所述无人机对所述第二目标进行感知；

车辆待检测目标信息回传步骤，获取所述第二目标中的第一待检测目标，将所述第一待检测目标的信息回传给所述第一车辆，作为所述第一车辆的主动感知信息。

2.根据权利要求1所述的方法，所述车辆待检测目标获取步骤中，将置信度和/或精度不满足预设检测要求的所述第一目标，作为所述第一待检测目标；或，

所述第一待检测目标，由所述第一车辆或所述第一车辆之外的设备基于所述第一车辆的行驶路线确定。

3.根据权利要求1所述的方法，所述无人机检测目标新增步骤中，包括：

响应于所述无人机对应的聚类簇中的第二目标均位于所述无人机的感知范围之内，所述无人机的飞行路线和飞行姿态不变对所述聚类簇中的第二目标进行感知；

响应于所述无人机对应的聚类簇中的第二目标均位于所述无人机的感知范围之外，并且所述聚类簇中的第二目标的散布超出了所述无人机静止时的感知能力时，所述无人机调整飞行路线和飞行姿态对所述聚类簇中的第二目标进行感知；

响应于所述无人机对应的聚类簇中的第二目标均位于所述无人机的感知范围之外，并且所述聚类簇中的第二目标的散布超出了所述无人机静止时的感知能力时，所述无人机选择所述聚类簇中的部分第二目标进行感知，或所述无人机在运动中对所述聚类簇中的第二目标进行感知。

4.根据权利要求3所述的方法，所述无人机选择所述聚类簇中的部分第二目标进行感知，包括：

根据第二目标的优先级和/或置信度，选择所述第二目标的子集；所述第二目标的子集包括所述车辆的第一新增待检测目标；

设置所述无人机的飞行路线和飞行姿态，使得所述无人机的感知范围覆盖所述第二目标的子集；

所述无人机在运动中对所述聚类簇中的第二目标进行感知，包括：

根据所述第二目标的位置，将第二目标划分为重叠或不重叠的子集；设置所述无人机在运动中的不同时刻的感知范围覆盖不同的所述子集。

5.根据权利要求1所述的方法，所述车辆待检测目标信息回传步骤中，所述第一待检测目标的信息包括信息采集时间，所述第一车辆根据所述信息采集时间使用所述第一待检测目标的信息；

当回传的所述第一待检测目标不满足所述第一车辆的行驶需要时：

所述空地协同单元继续执行所述无人机检测目标新增步骤以重新感知所述第一待检测目标；或，所述第一车辆调整行驶路线和/或行驶姿态感知所述第一待检测目标。

6.一种基于空地协同的矿区车辆行驶主动感知装置，应用于空地协同单元，所述空地协同单元用于协同第一数量的车辆和第二数量的无人机，包括：

车辆待检测目标获取模块，基于第一车辆的传感器感知到的第一目标，获取需要进一步感知的第一待检测目标；基于所述第一待检测目标的历史数据，确定第一待检测目标中新增的第一新增待检测目标，以及删除的第一删除待检测目标；

无人机检测目标获取模块，获取所述无人机为所述第一车辆或其他车辆行驶而检测的第二目标；

无人机检测目标删除模块，响应于所述第一车辆的第一删除待检测目标存在于第一无人机的第二目标中，并且所述第一删除待检测目标不属于所述第一无人机为其他车辆检测的目标，从所述第一无人机的第二目标中删除所述第一删除待检测目标；

无人机检测目标新增模块，响应于所述第一车辆的第一新增待检测目标不存在于所述无人机的第二目标中，将所述第一新增待检测目标加入所述第二目标，将所述第二目标按照所述无人机的第二数量和位置获取第二数量的聚类簇，将所述聚类簇中的第二目标分配给所述无人机；所述无人机对所述第二目标进行感知；

车辆待检测目标信息回传模块，获取所述第二目标中的第一待检测目标，将所述第一待检测目标的信息回传给所述第一车辆，作为所述第一车辆的主动感知信息。

7.一种电子设备，其特征在于，包括：

至少一个处理器，存储器，以及与其他电子设备通信的通信接口；

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备能够执行权利要求1-5中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。

9.一种自动驾驶车辆，包括如权利要求7所述的电子设备。

Images