CN116872840A - 车辆防撞预警方法、装置、车辆和存储介质 - Google Patents

Abstract

本申请提供了一种车辆防撞预警方法、装置、车辆和存储介质，应用于车辆，所述车辆包括边缘计算装置，该方法包括：获取所述车辆所处环境的图像信息；基于所述边缘计算装置，采用目标检测网络模型对所述图像信息进行目标检测，得到所述车辆周围障碍物的障碍物信息；根据所述障碍物信息确定所述障碍物与所述车辆之间的距离；当所述距离小于安全阈值时，发送预警信息。该方法能够在低成本和无需网络的情况下，实现车辆对障碍物的防撞预警，具有较高的准确性和实时性，适用所有车型，便于后装改造。

Description

车辆防撞预警方法、装置、车辆和存储介质

技术领域

本申请涉及车辆技术领域，并且更具体地，涉及车辆技术领域中一种车辆防撞预警方法、装置、车辆和存储介质。

背景技术

随着汽车技术的不断发展，高级驾驶辅助系统(ADAS)已经被广泛应用于新型汽车中，提供了诸如前撞预警、车道偏离预警等安全驾驶辅助功能。然而，尽管这些系统在实现安全驾驶方面起着重要作用，但它们通常是在车辆制造阶段就集成到车辆中的，对于大量已经在路上行驶的旧车型，由于硬件和软件的限制，无法轻易地进行后装改造以增加这些功能。现有的防撞预警系统通常依赖特定硬件设备(如激光雷达)和云服务器，算法复杂，成本高，难以适用后装改造。

发明内容

本申请提供了一种车辆防撞预警方法、装置、车辆和存储介质，该方法能够在低成本和无需网络的情况下，实现车辆对障碍物的防撞预警，具有较高的准确性和实时性，适用所有车型，便于后装改造。上述技术方案中：

第一方面，提供了一种车辆防撞预警方法，应用于车辆，上述车辆包括边缘计算装置；该方法包括：

获取上述车辆所处环境的图像信息；

基于上述边缘计算装置，采用目标检测网络模型对上述图像信息进行目标检测，得到上述车辆周围障碍物的障碍物信息；

根据上述障碍物信息确定上述障碍物与上述车辆之间的距离；

当上述距离小于安全阈值时，发送预警信息。

结合第一方面，在某些可能的实现方式中，上述采用目标检测网络模型对上述图像信息进行目标检测，包括：

根据上述图像信息进行特征提取，得到至少三个第一特征数据；上述至少三个第一特征数据的尺度不同；

将上述至少三个第一特征数据输入至特征金字塔中进行二阶段交叉融合，得到相应的融合特征数据；

根据上述融合特征数据进行目标检测。

结合第一方面和上述实现方式，在某些可能的实现方式中，上述将上述至少三个第一特征数据输入至特征金字塔中进行二阶段交叉融合，包括：

将上述至少三个第一特征数据输入至上述特征金字塔的不同层级中；

将上述特征金字塔中每一层级对应的上述第一特征数据与一相邻层级对应的上述第一特征数据按照预设规则进行融合，得到第二特征数据；

将上述特征金字塔中每一层级对应的上述第二特征数据与另一相邻层级对应的上述第二特征数据按照上述预设规则进行融合，得到上述融合特征数据；

其中，上述特征金字塔的顶层与底层为相邻层级。

结合第一方面和上述实现方式，在某些可能的实现方式中，上述预设规则包括：

将两个待融合特征数据进行拼接，得到拼接特征数据；

基于注意力层对上述拼接特征数据进行处理，得到权重数据；

将上述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据；

基于上述权重数据将上述多个不同深度的提取特征数据进行拼接，得到目标特征数据；

其中，上述待融合特征数据为上述第一特征数据，上述目标特征数据为上述第二特征数据；或，上述待融合特征数据为上述第二特征数据，上述目标特征数据为上述融合特征数据。

结合第一方面和上述实现方式，在某些可能的实现方式中，上述目标检测网络模型包括单阶段目标检测网络模型，例如：YOLO网络模型。

结合第一方面和上述实现方式，在某些可能的实现方式中，上述注意力层包括一个1×1卷积结构。

结合第一方面和上述实现方式，在某些可能的实现方式中，上述多个不同深度的提取特征数据包括浅层提取特征数据和深层提取特征数据；上述将上述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据，包括：

将上述拼接特征数据进行卷积处理后得到上述浅层提取特征数据；

将上述浅层提取特征数据进行卷积处理后得到上述深层提取特征数据。

结合第一方面和上述实现方式，在某些可能的实现方式中，上述根据上述障碍物信息确定上述障碍物与上述车辆之间的距离，包括：

根据上述障碍物信息，使用单目测距算法或多目测距算法确定上述障碍物与上述车辆之间的距离。

结合第一方面和上述实现方式，在某些可能的实现方式中，上述预警信息包括视觉预警信息和/或声音预警信息和/或振动预警信息。

第二方面，提供了一种车辆防撞预警装置，配置于车辆，上述车辆包括边缘计算装置；上述车辆防撞预警装置包括：

获取模块，用于获取上述车辆所处环境的图像信息；

检测模块，用于基于上述边缘计算装置，采用目标检测网络模型对上述图像信息进行目标检测，得到上述车辆周围障碍物的障碍物信息；

测距模块，用于根据上述障碍物信息确定上述障碍物与上述车辆之间的距离；

预警模块，用于当上述距离小于安全阈值时，发送预警信息。

结合第二方面，在某些可能的实现方式中，上述检测模块，包括：

特征提取单元，用于根据上述图像信息进行特征提取，得到至少三个第一特征数据；上述至少三个第一特征数据的尺度不同；

特征融合单元，用于将上述至少三个第一特征数据输入至特征金字塔中进行二阶段交叉融合，得到相应的融合特征数据；

目标检测单元，用于根据上述融合特征数据进行目标检测。

结合第二方面和上述实现方式，在某些可能的实现方式中，上述特征融合单元，具体用于：

将上述至少三个第一特征数据输入至上述特征金字塔的不同层级中；

将上述特征金字塔中每一层级对应的上述第一特征数据与一相邻层级对应的上述第一特征数据按照预设规则进行融合，得到第二特征数据；

将上述特征金字塔中每一层级对应的上述第二特征数据与另一相邻层级对应的上述第二特征数据按照上述预设规则进行融合，得到上述融合特征数据；

其中，上述特征金字塔的顶层与底层为相邻层级。

结合第二方面和上述实现方式，在某些可能的实现方式中，上述预设规则包括：

将两个待融合特征数据进行拼接，得到拼接特征数据；

基于注意力层对上述拼接特征数据进行处理，得到权重数据；

将上述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据；

基于上述权重数据将上述多个不同深度的提取特征数据进行拼接，得到目标特征数据；

其中，上述待融合特征数据为上述第一特征数据，上述目标特征数据为上述第二特征数据；或，上述待融合特征数据为上述第二特征数据，上述目标特征数据为上述融合特征数据。

结合第二方面和上述实现方式，在某些可能的实现方式中，上述目标检测网络模型包括单阶段目标检测网络模型，例如：YOLO网络模型。

结合第二方面和上述实现方式，在某些可能的实现方式中，上述注意力层包括一个1×1卷积结构。

结合第二方面和上述实现方式，在某些可能的实现方式中，上述多个不同深度的提取特征数据包括浅层提取特征数据和深层提取特征数据；上述将上述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据，包括：

将上述拼接特征数据进行卷积处理后得到上述浅层提取特征数据；

将上述浅层提取特征数据进行卷积处理后得到上述深层提取特征数据。

结合第二方面和上述实现方式，在某些可能的实现方式中，上述测距模块，具体用于：

根据上述障碍物信息，使用单目测距算法或多目测距算法确定上述障碍物与上述车辆之间的距离。

结合第二方面和上述实现方式，在某些可能的实现方式中，上述预警信息包括视觉预警信息和/或声音预警信息和/或振动预警信息。

第三方面，提供了一种车辆，包括存储器和处理器。该存储器用于存储可执行程序代码，该处理器用于从存储器中调用并运行该可执行程序代码，使得该车辆执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

第四方面，提供了一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行上述第一方面或第一方面任意一种可能的实现方式中的方法。

综上，在本申请技术方案中，通过获取车辆所处环境的图像信息；基于边缘计算装置，采用目标检测网络模型对上述图像信息进行目标检测，得到上述车辆周围障碍物的障碍物信息；根据上述障碍物信息确定上述障碍物与上述车辆之间的距离；当上述距离小于安全阈值时，发送预警信息，能够在低成本和无需网络的情况下，实现车辆对障碍物的防撞预警。在边缘计算装置中运行目标检测网络模型，减少了数据传输的延迟，提高了目标检测的实时性和准确性；数据处理不需要接入云网络，数据仅在车内处理，有效保护用户隐私，降低了网络安全风险；该方法软硬件成本低，适用于所有车型，便于后装改造。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种车辆防撞预警系统的系统架构图；

图2是本申请实施例提供的一种车辆防撞预警方法的流程示意图；

图3是本申请实施例提供的一种目标检测网络模型的结构示意图；

图4是本申请实施例提供的一种特征金字塔网络的结构示意图；

图5是本申请实施例提供的一种多尺度融合层的结构示意图；

图6是本申请实施例提供的一种车辆防撞预警方法的交互流程示意图；

图7是本申请实施例提供的一种车辆防撞预警装置的结构示意图；

图8是本申请实施例提供的一种车辆的结构示意图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B：文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。

需要说明的是，本申请实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本说明书中涉及的图像信息等都是在充分授权的情况下获取的。

车辆防撞预警作为ADAS系统的核心功能之一，是车辆迈向智能化的关键体现。在相关技术中，防撞预警系统通常是在车辆制造阶段就集成到车辆中的，且需要依赖特定硬件设备(如激光雷达)和云服务器，算法复杂，成本高，难以适用后装改造。目前汽车存量市场中，大部分旧车型仍未有原厂提供的ADAS系统，因此亟需一种低成本易于改装的车辆防撞预警方法和装置。

基于此，本申请实施例提供了一种车辆防撞预警方法。该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的车辆防撞预警装置或系统上,该计算机程序可集成在应用中，也可作为独立的工具类应用运行。该车辆防撞预警装置可以是车辆，可以是车载计算机系统。

图1是本申请实施例提供的一种车辆防撞预警系统的系统架构图。

示例性的，如图1所示，该系统架构包括中央处理器110、图像获取装置120、边缘计算装置130和预警装置140。

中央处理器110是车辆防撞预警系统的主要处理器，负责接收、协调和处理来自其他设备的信息。例如，中央处理器110可以接收来自图像获取装置120采集的图像信息，并发送至边缘计算装置130对图像信息进行计算处理；在确定障碍物与车辆的距离低于安全阈值时，控制预警装置140发送预警信息，提醒驾驶员采取安全措施，以降低碰撞风险。中央处理器110可以是车载系统的嵌入式控制单元(ECU)，也可以是独立的计算装置。在对现有车辆进行后装改装时，添加一个独立的中央处理器，可以避免车辆原始的ECU没有足够的处理能力和内存执行上述额外的任务。

图像获取装置120用于获取车辆所在环境的图像信息，传输给中央处理器110进行进一步处理。图像获取装置120可以通过一个或多个摄像头实现图像信息的采集。若采用多个摄像头，可以将这些摄像头朝向车辆周边不同方向，以获取尽可能全面的环境信息。若采用单个摄像头，可以将该摄像头布置在车辆行驶方向(例如安装在车辆前玻璃上)，以获取对碰撞影响最大的图像信息。为了获得优质的图像信息，图像获取装置120可以配置为高动态范围(High Dynamic Range，HDR)摄像头。例如，图像获取装置120可以采用搭载200万以上像素、支持30帧以上图像输出的高动态CMOS(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)摄像头，且配备具有50°以上水平视场角的镜头。高动态范围的CMOS摄像头在动态范围广的场景(即明暗部分差异大的场景)中表现优异，可以捕获更多的细节信息，如从隧道驶出，或者从阳光明媚的环境进入阴暗的树荫下，其可以提供清晰、详细的图像信息，有助于更准确的目标检测和障碍物识别。

边缘计算装置130在车辆防撞预警系统中执行边缘计算任务，是具有大算力(2T以上)的可以进行模型推理的模组，如Jetson Nano开发板、瑞芯微RK3588开发板。边缘计算装置130可以对图像获取装置120获取的图像信息进行目标检测，以获取影响车辆正常行驶的障碍物信息，这些障碍物信息可以传输给中央处理器110进行进一步处理。边缘计算装置130采用了边缘计算技术，其主要优势在于能够就近于数据源进行数据处理。相较于传统的云计算模型，它无需将图像信息上传至远程云服务器，从而极大地减少了网络传输延迟，提升了数据处理的实时性。另外，由于计算过程可离线完成，因此车辆数据无需离开车辆本身，这极大地增强了数据的隐私性和安全性。此外，采用边缘计算装置130还能够有效降低中央处理器110的计算负载，提升整体系统的效率。

在一些实施例中，边缘计算装置130可以通过中央处理器110接收图像获取装置120获取的图像信息。中央处理器110作为控制中枢，可以统一管理和调度数据流，保证数据流在各部件中正确、高效地传输，也可以对图像获取装置120获取的图像信息进行初步处理或评估(如过滤无效信息等)，可以确保边缘计算装置130的计算负载和数据接收都在可控范围内。在一些实施例中，边缘计算装置130还可以直接接收图像获取装置120获取的图像信息，这可以减少传输延迟和中央处理器110的工作负载。可以根据实际实施场景选择上述任意的具体实现方式，在此不对其进行限定。

预警装置140用于在接收到中央处理器110的控制信号后，将预警信息发送给驾驶员，以便在发现可能的障碍物时提醒驾驶员，使驾驶员能够及时采取避免碰撞的行动。预警装置140可以采取多种形式来发出预警信息，以便驾驶员能够准确感知，例如视觉预警、声音预警或振动预警。预警装置140可以根据不同预警形式需求配置不同的硬件，例如配置语音模块实现语音预警，配置振动马达实现振动预警，配置显示灯或显示屏实现视觉预警等等。预警装置140可以配置于显示组件、扬声器组件等车辆现有组件上，也可以新配置一个独立组件，可以根据实际实施场景选择上述任意的具体实现方式，在此不对其进行限定。

接下来结合图1示出的系统架构，以上述配置于车辆的车辆防撞预警系统为执行主体，介绍本申请实施例提供的车辆防撞预警方法。图2是本申请实施例提供的一种车辆防撞预警方法的流程示意图。

示例性的，如图2所示，该方法包括：

S201，获取车辆所处环境的图像信息。

具体的，通过车载摄像头等图像获取装置，捕捉车辆所处的环境中的实时图像信息，该图像信息可以包括车辆周边环境的图像，如使用多个摄像头分别采集的车辆的前后左右等多个方向的图像信息，以全面监控车辆周边可能存在的障碍物。该图像信息也可以仅包括车辆行驶方向的图像信息，重点关注车辆行驶过程中可能遇到的障碍物。在具体实施时，可以通过调整摄像头方向和位置，以减少监控死角，使其能够捕捉更多的有效信息。

S202，基于边缘计算装置，采用目标检测网络模型对图像信息进行目标检测，得到车辆周围障碍物的障碍物信息。

具体的，在获取到图像信息后，需要对图像信息进行目标检测，以确定图像信息中可能存在的障碍物。本实施例中，使用边缘计算装置进行目标检测，可以将大部分数据处理工作转移到车辆本地进行，这样既可以降低网络延迟，提高处理速度，又可以减少对云端服务器的依赖，保障了数据隐私。边缘计算装置只涉及目标检测过程，不需要进行复杂的配置，具有更高的处理效率，其使用的目标检测网络模型可以是单阶段目标检测网络模型，只需要对图像信息进行一次网络处理就可以确定图像中的障碍物，并输出障碍物信息，可以进一步提高了处理效率。障碍物信息可以包括障碍物的类型、位置、大小、形状等，这些信息是驾驶决策的重要参考依据。

配置在边缘计算装置中的目标检测网络模型可以是预先训练好的网络模型，如YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)等。预先训练好的网络模型通过学习大量的样本数据，能够对新的图像信息进行快速且准确的目标检测。由此，边缘计算装置可以高效地处理来自车载摄像头的实时图像信息，及时检测出可能的障碍物，并将这些信息反馈给中央处理器。

在一些实施例中，上述目标检测网络模型可以选用YOLO网络模型，尤其是使用YOLOv5网络模型进行关于车辆对应障碍物的目标检测，可以实现低计算成本下，更高的检测精度和效率。

在一些实施例中，采用目标检测网络模型对图像信息进行目标检测，包括：

根据图像信息进行特征提取，得到至少三个第一特征数据；上述至少三个第一特征数据的尺度不同；

将上述至少三个第一特征数据输入至特征金字塔中进行二阶段交叉融合，得到相应的融合特征数据；

根据上述融合特征数据进行目标检测。

具体的，如图3所示，所述目标检测网络模型可以包括输入层、特征提取层、特征金字塔(Feature Pyramid Networks，FPN)层、目标检测层和输出层。

输入层负责接收输入的图像信息，并进行标准化处理。

特征提取层通过一系列卷积和非线性操作，对标准化后的输入图像进行特征提取，得到至少三个尺度不同的第一特征数据，这些特征数据捕获了图像的各种属性(例如形状、纹理、颜色等)。由于其尺度的不同，它们捕获了不同级别的细节，较大尺度的特征数据(浅层特征)捕获了较大、全局的特征，包含更多的区域纹理细节，适合用于确定目标位置；而较小尺度的特征数据(深层特征)捕获了较小、局部的特征，包含了更高维的区域语义信息，适合用于目标分类。以YOLOv5网络模型为例，可以在特征提取层骨干网络中选取76×76、38×38和19×19三种不同尺度的特征数据为第一特征数据，将上述第一特征数据输入FPN网络，以使得该FPN网络同时包含高维语义信息和低维纹理细节。

特征金字塔层是一个具有金字塔结构的网络层，用于处理不同尺度的特征数据；在本实施例中，FPN层将至少三个尺度不同的第一特征数据进行二阶段交叉融合，得到相应的融合特征数据。由此，该融合特征数据在保持各自尺度特性的同时，又包含了其他尺度特征的一部分信息，这样有利于提高后续目标检测的准确性。上述二阶段交叉融合是将FPN层中不同尺度的第一特征数据分两个阶段进行交叉融合，相较于单一的自上而下或自下而上的融合方式，既不增加计算成本，又提高了对不同大小目标的检测精度。

目标检测层基于FPN层输出的融合特征数据进行目标检测，用于识别并定位图像中的障碍物。

输出层则将目标检测层的检测结果(即障碍物信息)输出，以供后续步骤使用。

在一些实施例中，如图4所示，上述将至少三个第一特征数据输入至特征金字塔中进行二阶段交叉融合，包括：

将至少三个第一特征数据输入至特征金字塔的不同层级中；

将特征金字塔中每一层级对应的第一特征数据与一相邻层级对应的第一特征数据按照预设规则进行融合，得到第二特征数据；

将特征金字塔中每一层级对应的第二特征数据与另一相邻层级对应的第二特征数据按照预设规则进行融合，得到融合特征数据；

其中，特征金字塔的顶层与底层为相邻层级。

示例性的，如图4所示，以YOLOv5网络模型中的三层FPN网络为例进行说明，将76×76、38×38和19×19三种不同尺度的第一特征数据输入该FPN网络中，FPN网络每一层级都对应一个尺度的第一特征数据。其中，FPN网络上层是较小尺度的特征数据，下层是较大尺度的特征数据。

在第一阶段，先将上层相邻层级的第一特征与本层级的第一特征进行融合(图4中SE即多尺度融合层，其按预设规则进行多尺度特征融合)，如将19×19的第一特征与38×38的第一特征进行融合输出一个38×38的第二特征。

在第二阶段，再将下层相邻层级的第二特征与本层级的第二特征进行融合，如将79×79的第二特征与的38×38的第二特征进行融合输出一个38×38的融合特征数据。

需要说明的是，上述第一阶段和第二阶段选取的相邻层级可以互换，但两个阶段选取的相邻层级不同，以实现在不增加计算成本的情况下，融合更多的特征信息，提高后续目标检测的效率和准确度。即第一阶段可以先第一层级将下层相邻层级的第一特征与本层级的第一特征进行融合，第二阶段再将上层相邻层级的第二特征与本层级的第二特征进行融合。其中，FPN网络的顶层与底层可视为相邻层级，即顶层的上层相邻层级为底层，底层的下层相邻层级为顶层，由此可以使顶层和底层的特征信息相互融合，从而进一步丰富了融合特征数据的信息内容。

在一些实施例中，如图5所示，上述预设规则包括：

将两个待融合特征数据进行拼接，得到拼接特征数据；

基于注意力层对上述拼接特征数据进行处理，得到权重数据；

将上述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据；

基于上述权重数据将上述多个不同深度的提取特征数据进行拼接，得到目标特征数据；

其中，待融合特征数据为上述第一特征数据，目标特征数据为上述第二特征数据；或，待融合特征数据为上述第二特征数据，目标特征数据为上述融合特征数据。

示例性的，如图5所示，N1和N2为两个不同尺度的待融合特征数据，首先将这两个不同尺度的待融合数据进行拼接(图5中C步骤)得到一个拼接特征数据。其中，拼接是把不同尺度特征数据通过上采样或下采样至相同尺度后，在深度(通道)维度进行合并，这种操作能保留不同尺度的特征信息，拼接后的特征数据维度更高(也就是通道数更多)，包含了更丰富的特征信息，以便后续进行处理。

然后将上述拼接特征数据进行多次卷积处理，以得到多个不同深度的提取特征数据。示例性的，如图5所示，该多个不同深度的提取特征数据包括浅层提取特征数据和深层提取特征数据；将拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据，包括：将拼接特征数据进行卷积处理后得到浅层提取特征数据；将浅层提取特征数据进行卷积处理后得到深层提取特征数据。浅层提取特征数据仅经过了一个1×1卷积和3×3卷积，而深层提取特征数据除经过了一个1×1卷积和3×3卷积外，还经历了两个3×3卷积。通过获取不同深度的提取特征数据，可以得到不同层次的特征信息，以便融合后的特征数据具有更全面、更丰富的信息供目标检测层使用。

另外，本实施例还引入注意力机制，在第二次拼接之前增加包括一个1x1卷积结构的注意力层，通过注意力层对上述拼接特征数据进行处理，可以得到权重数据，该权重数据可以在后续的拼接中更加聚焦于关键信息，即重要的特征会被强调，而不重要的特征则会被抑制，可以减小背景干扰、增强目标特征，实现在不增加计算成本、保证计算效率的情况下，使融合特征数据具有更关键的特征信息，从而实现后续目标检测具有更高的准确性。

接下来请继续参考图2，如图2所示，上述S202，基于边缘计算装置，采用目标检测网络模型对图像信息进行目标检测，得到车辆周围障碍物的障碍物信息之后，该方法还包括：

S203，根据障碍物信息确定障碍物与车辆之间的距离。

具体的，边缘计算装置识别出障碍物之后，输出障碍物信息，并根据该障碍物信息计算障碍物与车辆的距离，以判断该障碍物是否存在碰撞风险。该障碍物信息可以包括障碍物的类型(行人、车辆、建筑物等)、位置、大小、形状等计算上述距离所需的信息。

在一些实施例中，可以根据上述障碍物信息，使用单目测距算法或多目测距算法确定上述障碍物与上述车辆之间的距离。

具体的，多目测距算法是基于“立体视觉”原理，即通过捕获物体在两个或更多摄像头中的位置偏移来估计物体的深度。多目测距算法可以提供较准确的深度信息，因为它直接测量物体在多个视点之间的偏移量，可以实现精确测距，但由于需要车辆使用多个摄像头，硬件成本较高。

单目测距算法只需要一个摄像头，但是它更加依赖于其他信息(如物体的已知尺寸、相对运动、物体在不同帧之间的位置变化等)来估计深度。相对于多目测距，单目测距的准确性可能较低，但单目测距算法需要的硬件成本较低。因此在具体实施过程中，可以根据具体实施场景选择相应的实现方式，在此不作具体限定。

S204，当距离小于安全阈值时，发送预警信息。

具体的，在确定了障碍物和车辆的距离后，判断该障碍物和车辆的距离是否小于预设的安全阈值，当障碍物和车辆的距离大于该安全阈值时，说明不存在碰撞风险；当障碍物和车辆的距离小于该安全阈值时，说明存在较高碰撞风险，需要发出预警信息提醒驾驶员小心驾驶并采取相应的防撞措施。

在一些实施例中，上述预警信息可以包括视觉预警信息和/或声音预警信息和/或振动预警信息。

具体的，视觉预警信息可以是灯光预警，可以是图像预警；例如通过灯光闪烁，或在仪表屏或中控屏等显示装置上发出表示“碰撞风险”的图标或文本，以提醒驾驶员可能存在碰撞风险。

声音预警信息可以是语音提示，可以是蜂鸣器提示；例如通过发出“小心碰撞”语音，或发出蜂鸣器响声，以提醒驾驶员可能存在碰撞风险。

振动预警信息可以是方向盘振动，可以是座椅振动，通过振动触感提醒驾驶员可能存在碰撞风险。

需要说明的是，上述预警信息可以根据具体实施场景选择其中一种或同时选择多种，也可以根据驾驶员驾驶习惯，由驾驶员自行选择开启相应的预警信息类型。

在本申请技术方案中，通过获取车辆所处环境的图像信息；基于边缘计算装置，采用目标检测网络模型对上述图像信息进行目标检测，得到上述车辆周围障碍物的障碍物信息；根据上述障碍物信息确定上述障碍物与上述车辆之间的距离；当上述距离小于安全阈值时，发送预警信息，能够在低成本和无需网络的情况下，实现车辆对障碍物的防撞预警。在边缘计算装置中运行单阶段目标检测网络模型，减少了数据传输的延迟，提高了目标检测的实时性和准确性；数据处理不需要接入云网络，数据仅在车内处理，有效保护用户隐私，降低了网络安全风险；该方法软硬件成本低，适用于所有车型，便于后装改造。

下面将结合一个具体实施例来说明本申请实施例提供的车辆防撞预警方法，图6是本申请实施例提供的一种车辆防撞预警方法的交互流程示意图。

如图6所示，该方法包括：

S301，图像获取装置采集车辆对应环境的图像信息。

在本实施例中，图像获取装置采用单一的高动态范围的CMOS摄像头，该摄像头安装在车辆前玻璃上，以监控并采集车辆行驶前方的实时图像信息，进行后续碰撞预警检测。

S302，图像获取装置发送图像信息至中央处理器。

在本实施例中，图像获取装置将采集到的图像信息发送给中央处理器，由中央处理器对该图像信息进行统一调度。

S303，中央处理器发送图像信息至边缘计算装置。

在本实施例中，中央处理器接收到该图像信息后，将该图像信息转发给边缘计算装置，由边缘计算装置进行本地计算，该边缘计算装置采用瑞芯微RK3588开发板。

S304，边缘计算装置进行目标检测。

在本实施例中，边缘计算装置接收到该图像信息后，通过改进的YOLOv5网络模型进行目标检测，根据图像信息识别可能存在的障碍物，并得到该障碍物对应的障碍物信息，该障碍物信息包括障碍物的类型、位置、大小、形状等信息。上述改进的YOLOv5网络模型，采用本申请上述实施例S202步骤中提供的二阶段交叉融合方式和相应的预设规则进行多尺度特征融合。

S305，边缘计算装置发送障碍物信息至中央处理器。

在本实施例中，若边缘计算装置通过目标检测识别出障碍物，则将该障碍物对应的障碍物信息发送给中央处理器，由中央处理器作进一步判断处理。

S306，中央处理器计算障碍物与车辆之间的距离。

在本实施例中，中央处理器接收到边缘计算装置检测得到的障碍物信息后，根据该障碍物信息通过单目测距算法计算障碍物与车辆之间的距离；并根据该距离和预设的安全阈值，判断车辆是否存在与此障碍物发生碰撞的风险。

S307，中央处理器发送预警控制信号至预警装置。

在本实施例中，当障碍物与车辆之间的距离小于预设的安全阈值时，则说明车辆存在与此障碍物发生碰撞的风险，中央处理器将发送预警控制信号至预警装置，以便控制其发出预警信息。

S308，预警装置发出预警信息。

在本实施例中，预警装置为语音模块，该语音模块接收到中央处理器的预警控制信号后，按照设定的预警规则发出相应的语音提示信息，以提醒驾驶员存在碰撞风险，小心驾驶。

图7是本申请实施例提供的一种车辆防撞预警装置的结构示意图。

示例性的，如图7所示，该车辆防撞预警装置400包括：

获取模块410，用于获取上述车辆所处环境的图像信息；

检测模块420，用于基于上述边缘计算装置，采用目标检测网络模型对上述图像信息进行目标检测，得到上述车辆周围障碍物的障碍物信息；

测距模块430，用于根据上述障碍物信息确定上述障碍物与上述车辆之间的距离；

预警模块440，用于当上述距离小于安全阈值时，发送预警信息。

在一些可能的实施例中，上述检测模块420，包括：

特征提取单元，用于根据上述图像信息进行特征提取，得到至少三个第一特征数据；上述至少三个第一特征数据的尺度不同；

特征融合单元，用于将上述至少三个第一特征数据输入至特征金字塔中进行二阶段交叉融合，得到相应的融合特征数据；

目标检测单元，用于根据上述融合特征数据进行目标检测。

在一些可能的实施例中，上述特征融合单元，具体用于：

将上述至少三个第一特征数据输入至上述特征金字塔的不同层级中；

将上述特征金字塔中每一层级对应的上述第一特征数据与一相邻层级对应的上述第一特征数据按照预设规则进行融合，得到第二特征数据；

将上述特征金字塔中每一层级对应的上述第二特征数据与另一相邻层级对应的上述第二特征数据按照上述预设规则进行融合，得到上述融合特征数据；

其中，上述特征金字塔的顶层与底层为相邻层级。

在一些可能的实施例中，上述预设规则包括：

将两个待融合特征数据进行拼接，得到拼接特征数据；

基于注意力层对上述拼接特征数据进行处理，得到权重数据；

将上述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据；

基于上述权重数据将上述多个不同深度的提取特征数据进行拼接，得到目标特征数据；

其中，上述待融合特征数据为上述第一特征数据，上述目标特征数据为上述第二特征数据；或，上述待融合特征数据为上述第二特征数据，上述目标特征数据为上述融合特征数据。

在一些可能的实施例中，上述目标检测网络模型包括单阶段目标检测网络模型。

在一些可能的实施例中，上述注意力层包括一个1×1卷积结构。

在一些可能的实施例中，上述多个不同深度的提取特征数据包括浅层提取特征数据和深层提取特征数据；上述将上述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据，包括：

将上述拼接特征数据进行卷积处理后得到上述浅层提取特征数据；

将上述浅层提取特征数据进行卷积处理后得到上述深层提取特征数据。

在一些可能的实施例中，上述测距模块430，具体用于：

根据上述障碍物信息，使用单目测距算法或多目测距算法确定上述障碍物与上述车辆之间的距离。

在一些可能的实施例中，上述预警信息包括视觉预警信息和/或声音预警信息和/或振动预警信息。

在本申请技术方案中，通过获取车辆对应环境的图像信息；基于边缘计算装置，采用单阶段目标检测网络模型对上述图像信息进行目标检测，得到上述车辆对应障碍物的障碍物信息；根据上述障碍物信息确定上述障碍物与上述车辆之间的距离；当上述距离小于安全阈值时，发送预警信息，能够在低成本和无需网络的情况下，实现车辆对障碍物的防撞预警。在边缘计算装置中运行单阶段目标检测网络模型，减少了数据传输的延迟，提高了目标检测的实时性和准确性；数据处理不需要接入云网络，数据仅在车内处理，有效保护用户隐私，降低了网络安全风险；该方法软硬件成本低，适用于所有车型，便于后装改造。

图8是本申请实施例提供的一种车辆的结构示意图。

示例性的，如图8所示，该车辆500包括：存储器510和处理器520，其中，存储器510中存储有可执行程序代码511，处理器520用于调用并执行该可执行程序代码511执行一种车辆防撞预警方法。

本实施例可以根据上述方法示例对车辆进行功能模块的划分，例如，可以对应各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中，上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，该车辆可以包括：获取模块、检测模块、测距模块和预警模块等。需要说明的是，上述方法实施例涉及的各个步骤的所有相关内容的可以援引到对应功能模块的功能描述，在此不再赘述。

本实施例提供的车辆，用于执行上述一种车辆防撞预警方法，因此可以达到与上述实现方法相同的效果。

在采用集成的单元的情况下，车辆可以包括处理模块、存储模块。其中，处理模块可以用于对车辆的动作进行控制管理。存储模块可以用于支持车辆执行相关程序代码和数据等。

其中，处理模块可以是处理器或控制器，其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框、模块和电路。处理器也可以是实现计算功能的组合，例如包括一个或多个微处理器组合、数字信号处理(digital signal processing，DSP)和微处理器的组合等等，存储模块可以是存储器。

本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序代码，当该计算机程序代码在计算机上运行时，使得计算机执行上述相关方法步骤实现上述实施例中的一种车辆防撞预警方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的一种车辆防撞预警方法。

另外，本申请的实施例提供的车辆具体可以是芯片、组件或模块，该车辆可包括相连的处理器和存储器；其中，存储器用于存储指令，当车辆运行时，处理器可调用并执行指令，以使芯片执行上述实施例中的一种车辆防撞预警方法。

其中，本实施例提供的车辆、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如以上所描述的装置实施例仅仅是示意性的；例如模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车辆防撞预警方法，其特征在于，应用于车辆，所述车辆包括边缘计算装置；所述方法包括：

获取所述车辆所处环境的图像信息；

基于所述边缘计算装置，采用目标检测网络模型对所述图像信息进行目标检测，得到所述车辆周围障碍物的障碍物信息；

根据所述障碍物信息确定所述障碍物与所述车辆之间的距离；

当所述距离小于安全阈值时，发送预警信息。

2.根据权利要求1所述的方法，其特征在于，所述采用目标检测网络模型对所述图像信息进行目标检测，包括：

根据所述图像信息进行特征提取，得到至少三个第一特征数据；所述至少三个第一特征数据的尺度不同；

将所述至少三个第一特征数据输入至特征金字塔中进行二阶段交叉融合，得到相应的融合特征数据；

根据所述融合特征数据进行目标检测。

3.根据权利要求2所述的方法，其特征在于，所述将所述至少三个第一特征数据输入至特征金字塔中进行二阶段交叉融合，包括：

将所述至少三个第一特征数据输入至所述特征金字塔的不同层级中；

将所述特征金字塔中每一层级对应的所述第一特征数据与一相邻层级对应的所述第一特征数据按照预设规则进行融合，得到第二特征数据；

将所述特征金字塔中每一层级对应的所述第二特征数据与另一相邻层级对应的所述第二特征数据按照所述预设规则进行融合，得到所述融合特征数据；

其中，所述特征金字塔的顶层与底层为相邻层级。

4.根据权利要求3所述的方法，其特征在于，所述预设规则包括：

将两个待融合特征数据进行拼接，得到拼接特征数据；

基于注意力层对所述拼接特征数据进行处理，得到权重数据；

将所述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据；

基于所述权重数据将所述多个不同深度的提取特征数据进行拼接，得到目标特征数据；

其中，所述待融合特征数据为所述第一特征数据，所述目标特征数据为所述第二特征数据；或，所述待融合特征数据为所述第二特征数据，所述目标特征数据为所述融合特征数据。

5.根据权利要求1所述的方法，其特征在于，所述目标检测网络模型包括单阶段目标检测网络模型。

6.根据权利要求4所述的方法，其特征在于，所述注意力层包括一个1×1卷积结构。

7.根据权利要求4所述的方法，其特征在于，所述多个不同深度的提取特征数据包括浅层提取特征数据和深层提取特征数据；所述将所述拼接特征数据进行多次卷积处理，得到多个不同深度的提取特征数据，包括：

将所述拼接特征数据进行卷积处理后得到所述浅层提取特征数据；

将所述浅层提取特征数据进行卷积处理后得到所述深层提取特征数据。

8.一种车辆防撞预警装置，其特征在于，配置于车辆，所述车辆包括边缘计算装置；所述车辆防撞预警装置包括：

获取模块，用于获取所述车辆所处环境的图像信息；

检测模块，用于基于所述边缘计算装置，采用目标检测网络模型对所述图像信息进行目标检测，得到所述车辆周围障碍物的障碍物信息；

测距模块，用于根据所述障碍物信息确定所述障碍物与所述车辆之间的距离；

预警模块，用于当所述距离小于安全阈值时，发送预警信息。

9.一种车辆，其特征在于，所述车辆包括：

存储器，用于存储可执行程序代码；

处理器，用于从所述存储器中调用并运行所述可执行程序代码，使得所述车辆执行如权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被执行时，实现如权利要求1至7中任意一项所述的方法。