CN114512006B - 一种路面抛洒物预警方法、装置和存储介质 - Google Patents

Abstract

本发明涉及一种路面抛洒物预警方法、装置和存储介质。该方法包括：通过感知装置获取本车前方的前车抛洒物的感知信息，其中，所述感知装置包括安装于所述本车的激光雷达和摄像头；根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹；根据所述运动轨迹控制所述本车调整行驶策略。本发明的技术方案可以避免本车撞到前车的抛洒物，保证道路安全及行车安全。

Description

一种路面抛洒物预警方法、装置和存储介质

技术领域

本发明涉及智能交通技术领域，具体而言，涉及一种路面抛洒物预警方法、装置和存储介质。

背景技术

驾车在路面行驶时，特别是在高速公路行驶时，由于车速较快，如果前方车辆向外抛出异物，不论是故意抛洒的垃圾等，还是无意掉落的零件等，该异物都将有极大可能运动至该车所在车道或其他车道，这对后续车辆的行驶造成了很大的安全隐患。例如，前方右侧车辆向左抛洒出一异物，位于该前车左侧车道后方的本车在继续直行时，有可能撞击上述异物，或者说，至少对本车的正常行驶造成影响，即使没有影响本车，也有可能影响后续其他车辆。这种情况对正常的行车安全造成了较大的影响。

发明内容

为了降低部分车辆抛洒物对其他车辆的行车安全造成的影响，本发明提出一种路面抛洒物预警方法、装置和存储介质。

第一方面，本发明提供了一种路面抛洒物预警方法，该方法包括：

通过感知装置获取本车前方的前车抛洒物的感知信息，其中，所述感知装置包括安装于所述本车的激光雷达和摄像头；

根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹；

根据所述运动轨迹控制所述本车调整行驶策略。

第二方面，本发明提供了一种路面抛洒物预警装置，该装置包括：

获取模块，用于通过感知装置获取本车前方的前车抛洒物的感知信息，其中，所述感知装置包括安装于所述本车的激光雷达和摄像头；

处理模块，用于根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹；

控制模块，用于根据所述运动轨迹控制所述本车调整行驶策略。

第三方面，本发明提供了一种路面抛洒物预警装置，该装置包括存储有计算机程序的计算机可读存储介质和处理器，当所述计算机程序被所述处理器读取并运行时，实现如上所述的路面抛洒物预警方法。

第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器读取并运行时，实现如上所述的路面抛洒物预警方法。

本发明的路面抛洒物预警方法、装置和存储介质的有益效果是，本车安装有激光雷达和摄像头等感知装置，当本车前方车辆有向外抛洒异物的情况发生时，感知装置可立即捕获与抛洒物相关的感知信息，例如，对应于抛洒物的点云数据和图像数据等。由于感知装置获取信息并由处理装置进行相应处理的速度通常快于人眼获取信息并由大脑进行相应处理的速度，换言之，二者之间会有一个时间差。如果由驾驶人员获知抛洒物信息后再进行相应驾驶操作，可能会撞上抛洒物或者引起其他危险情况。但是，本发明可通过感知信息确定抛洒物的运动轨迹，并利用上述时间差，迅速基于该运动轨迹控制本车调整行驶策略，例如对本车的速度、制动、变道进行调控，从而避免撞到抛洒物，保证道路安全及行车安全。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的路面抛洒物预警方法的流程示意图；

图2为本发明实施例的路面抛洒物预警装置的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例的一种路面抛洒物预警方法包括如下步骤：

通过感知装置获取本车前方的前车抛洒物的感知信息，其中，所述感知装置包括安装于所述本车的激光雷达和摄像头。

具体地，激光雷达和摄像头可与处理装置连接，以自动捕获与抛洒物相关的感知信息并进行自动处理，处理效率较高，通常快于人的反应速度。

根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹。

具体地，激光雷达获取的点云数据可用于确定抛洒物的体积信息等，进一步结合摄像头获取的图像数据以确定抛洒物的运动轨迹。

例如，在行车过程中，本车与右前方车辆的速度大致相同，且保持了一定安全距离，若前车突然向左抛出一异物，该异物的运动在水平方向，或者说垂直于行车方向的平面上通常呈抛物线形式，同时由于惯性，其还会有一个向前的运动。对于本车，主要观测上述水平方向的运动，因为异物会因水平方向的运动从前车所在车道进入本车所在车道，且位于本车前方，有可能被本车撞击，造成安全事故。需要注意的是，同时也会获取上述向前运动的相关信息，以避免因本车速度过快等原因而直接撞上该异物的情况发生。

根据所述运动轨迹控制所述本车调整行驶策略。

具体地，通过感知信息可获得抛洒物的运动轨迹，利用机器自动运算与人反应间的时间差，可在驾驶员反应过来但可能已经发生撞击前，自动调整本车行驶策略，以避免安全事故的发生。

在本实施例中，本车安装有激光雷达和摄像头等感知装置，当本车前方车辆有向外抛洒异物的情况发生时，感知装置可立即捕获与抛洒物相关的感知信息，例如，对应于抛洒物的点云数据和图像数据等。由于感知装置获取信息并由处理装置进行相应处理的速度通常快于人眼获取信息并由大脑进行相应处理的速度，换言之，二者之间会有一个时间差。如果由驾驶人员获知抛洒物信息后再进行相应驾驶操作，可能会撞上抛洒物或者引起其他危险情况。但是，本实施例可通过感知信息确定抛洒物的运动轨迹，并利用上述时间差，迅速基于该运动轨迹控制本车调整行驶策略，例如对本车的速度、制动、变道进行调控，从而避免撞到抛洒物，保证道路安全及行车安全。

可选地，所述根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹包括：

根据来自所述激光雷达的所述感知信息获得所述抛洒物的体积信息。

具体地，例如固态式激光雷达通常包括由相控阵发射器和若干接收器组成的矩形阵列，当发射器产生并发射一束光脉冲，打在物体上并反射回来，最终被接收器所接收。鉴于光速是确定的且传播时间亦可测得，从而可转换为对距离的测量。结合发射器的高度，激光扫描角度，就可以准确地计算出每一个物体的采样点对应的点云。该点云包含此采样点的三维坐标信息等，可据此确定上述物体，或者说本实施例中的抛洒物的体积信息。

根据所述体积信息确定预警等级。

具体地，通常情况，前车抛洒物的体积越大，对后车所造成的影响也越大，因此，可将预警等级与抛洒物的体积信息对应起来。例如，当抛洒物的体积小于一定值时，可以仅进行较低级别的预警，如只发出提示，甚至不做预警，由驾驶员自行处置；当抛洒物的体积大于一定值时，则需要进一步确定抛洒物的运动轨迹，并进一步进行如自动调整行驶策略的操作等。

当所述预警等级符合预设标准时，根据来自所述摄像头的所述感知信息获得所述运动轨迹。

具体地，承上所述，当抛洒物的体积大于一定值时，进一步根据来自摄像头的信息进行处理，例如，可将视频流转化成结构化数据，通过图像处理或人工智能等技术可以分析出抛洒物的运动轨迹。

在本实施例中，可先通过来自激光雷达的感知数据确定抛洒物的体积信息，根据抛洒物体积确定是否进一步生成其运动轨迹或采用其他合适的预警方式，可以有效分配计算资源，提高处理效率。

可选地，所述来自所述激光雷达的所述感知信息包括对应于所述抛洒物的点云数据；所述根据来自所述激光雷达的所述感知信息获得所述抛洒物的体积信息包括：

对所述点云数据进行体素滤波，获得预处理后的点云数据。

具体地，可在点云数据上创建一个3D 体素网格，然后在每个体素中，所有存在的点都以其质心近似，即下采样。同时，在滤波过程加入高斯计算及卷积变换，以减少噪声点和离群点。

针对所述预处理后的点云数据，在纵向最小值与纵向最大值对应的点云之间，采用标定个水平面切割各点云，依次得到多个水平点云切片，其中，各相邻所述水平面的间距为预设距离。

具体地，纵向可理解为行车方向，在纵向最小值0与纵向最大值H之间， 用一组等间距（间距为h，即预设距离）的水平面自上而下顺序切割点云， 依次得到系列水平点云切片。

生成各所述水平点云切片的外轮廓多边形，并根据所述外轮廓多边形获得所述水平点云切片的面积。

具体地，可使用双向最近点搜索法取代扫描法对乱序的各平面点云进行排序，生成各点云切片散点外轮廓边界多边形，然后分别计算各切片面积。

根据各所述水平点云切片的面积以及所述预设距离获得所述体积信息。

具体地，累加各点云切片面积与预设距离h的乘积，即可获得抛洒物的体积信息。确定了抛洒物的体积信息，也就确定了其形状大小，从而可以将此信息用于后续进一步处理过程中。

可选地，所述来自所述摄像头的所述感知信息包括对应于所述抛洒物的标定时间的视频流；所述根据来自所述摄像头的所述感知信息获得所述运动轨迹包括：

将所述视频流分解为多帧。

具体地，视频流格式文件可被分解为一帧一帧数据。另外，可对每一帧数据进行灰度处理，转化为灰度图。进一步对灰度图进行高斯滤波与傅里叶变换，以滤除图片中无关的噪声。

将第一帧作为背景图，分别生成所述第一帧之后的各帧与所述背景图的差分图。

具体地，将各帧分别与首帧背景图进行叠加，便可快速获得相应的差分图。

从所述背景图确定路面和所述抛洒物的轮廓，基于所述路面和所述抛洒物对所述背景图和各所述差分图分别进行二值化和归一化处理，获得处理图像序列。

具体地，由于视频流主要内容为前方道路情况，故在前车有抛洒物抛出时，背景图可视为具有抛洒物的第一帧，并可从中识别出道路与抛洒物轮廓。进而对经预处理的各帧再进行二值化和归一化处理，最终得到的多张处理图像均为具有较强对比度的图像，例如，路面以白色表示，抛洒物以黑灰色的框体表示。

根据所述处理图像序列中的所述抛洒物的轮廓获得所述运动轨迹。

具体地，处理图像序列中各图的路面部分可以重叠，则根据抛洒物的轮廓便可获得其运动轨迹，例如按顺序连接各轮廓的中心点。

可选地，所述根据所述处理图像序列中的所述抛洒物的轮廓获得所述运动轨迹包括：

当通过所述处理图像序列确定所述抛洒物已停止运动时，以所述处理图像序列中的所述抛洒物的轮廓的中心连线作为所述运动轨迹。

具体地，抛洒物从前车抛落后，初期运动轨迹通常可视为抛物线，若与地面接触后，可能会再次弹起而形成幅度较小的抛物线，经多次触地后，最后可能仅能在地面上滚动，直至停止。无论是何种运动方式，若上述时间差已足够使抛洒物停止运动，则结合抛洒物体积信息和运动轨迹可准确确定其最终位置。若位于本车所在车道，则本车尽快进行减速、变道等操作。

可选地，所述根据所述处理图像序列中的所述抛洒物的轮廓获得所述运动轨迹还包括：

当通过所述处理图像序列确定所述抛洒物未停止运动时，确定所述本车撞击所述抛洒物的预估时间。

具体地，例如本车在超车道加速行驶时，位于行车道的前车突然有抛向本车所在侧的抛洒物，虽然出于惯性，抛洒物的前向初始速度与前车车速基本一致，但慢于本车车速，故此时本车有较大风险撞上该抛洒物，故可以根据通过感知装置获取的相关信息，例如速度差和间距等以确定本车可能撞击抛洒物的预估时间。另外，即使本车车速与前车车速基本相同或者慢于前车车速，也可在感知装置确定前车抛洒物时进行预估时间的计算。

若所述预估时间大于预设时间，则以所述处理图像序列中的所述抛洒物的轮廓的中心连线作为所述运动轨迹。

具体地，例如，预估时间为3s，而预设时间为1s，此时通过来自感知装置的感知信息生成的运动轨迹基于上述时间差，已足以使本车安全驶离可能发生抛洒物撞击的车道或者有效躲避抛洒物，则依然可以使用由感知信息直接获得的运动轨迹，即上述中心连线，作为调控行驶策略的依据。

若所述预估时间小于或等于所述预设时间，则以人工智能基于对所述处理图像序列中的所述抛洒物的轮廓的中心连线进行预测，将预测信息作为所述运动轨迹。

具体地，例如，预估时间为1s，甚至更小，此时通过来自感知装置的感知信息生成的运动轨迹基于上述时间差，可能不足以使本车及时驶离可能发生抛洒物撞击的车道或者有效躲避抛洒物，而提前随意变道又有可能引起其他安全事故，由于此种可能是用于分析的视频流时长，也就是上述标定时间，过短而导致的，该视频流只能体现抛洒物抛落前期的一段运动过程，此时可基于人工智能对其后续运动过程进行预测，获得较为完整的预测数据作为运动轨迹。这样在对后车调控行驶策略时，可参考预测部分的后期运动过程，使调控更为合理。

需要注意的是，上述标定时间和预设时间可根据本车速度、前车速度以及人反应时间等因素确定。可以提前确定，也可以实时调整，保证灵活性与安全性。

在本实施例中，对于与本车速度、抛洒物速度等各种因素相关的不同情况，均可有效确定抛洒物的运动轨迹，进而使本车可以及时调整行驶策略，以避开抛洒物，保证道路行车安全。

可选地，该方法还包括如下步骤：

将所述运动轨迹转发至路侧单元，由所述路侧单元根据所述运动轨迹生成预警信息，并将所述预警信息向标定范围内的行驶车辆进行广播。

具体地，本车的感知装置与处理装置连接，可由处理装置汇聚相应感知信息并进行相关计算，该处理装置可进一步与车载单元（OBU，On board Unit）连接。作为车路协同系统，车载单元可进一步与路侧单元（RSU，Road Side Unit）通信连接，例如采用5G通信连接。在本车获取前车抛洒物运动轨迹并调整行驶策略的同时，可通过车载单元将抛洒物运动轨迹转发至路侧单元，路侧单元可获得该抛洒物相对于道路的相关信息，并进一步广播或通过交通管控平台转发至例如该路段后续一公里范围内的所有装有车载单元的车辆，以提示其注意避让前方某位置处的抛洒物，保证道路安全及行车安全。

另外，作为车路协同系统的共同组成部分，路侧单元也可连接相应的感知装置，在例如出现检测盲区的情况时，基于车载的感知装置和路侧的感知装置共同获取的感知信息进行相应处理操作，以保证调控更为精确。

如图2所示，本发明实施例的一种路面抛洒物预警装置包括：

获取模块，用于通过感知装置获取本车前方的前车抛洒物的感知信息，其中，所述感知装置包括安装于所述本车的激光雷达和摄像头。

处理模块，用于根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹。

控制模块，用于根据所述运动轨迹控制所述本车调整行驶策略。

在本发明另一实施例中，一种路面抛洒物预警装置包括存储有计算机程序的计算机可读存储介质和处理器，当所述计算机程序被所述处理器读取并运行时，实现如上所述的路面抛洒物预警方法。

需要注意的是，该装置可以为车载控制器等计算机装置，例如上述实施例中的处理装置。

在本发明另一实施例中，一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器读取并运行时，实现如上所述的路面抛洒物预警方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种路面抛洒物预警方法，其特征在于，包括：

通过感知装置获取本车前方的前车抛洒物的感知信息，其中，所述感知装置包括安装于所述本车的激光雷达和摄像头；

根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹；

根据所述运动轨迹控制所述本车调整行驶策略；

所述根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹包括：

根据来自所述激光雷达的所述感知信息获得所述抛洒物的体积信息；

根据所述体积信息确定预警等级；

当所述预警等级符合预设标准时，根据来自所述摄像头的所述感知信息获得所述运动轨迹；

所述来自所述摄像头的所述感知信息包括对应于所述抛洒物的标定时间的视频流；所述根据来自所述摄像头的所述感知信息获得所述运动轨迹包括：

将所述视频流分解为多帧；

将第一帧作为背景图，分别生成所述第一帧之后的各帧与所述背景图的差分图；

从所述背景图确定路面和所述抛洒物的轮廓，基于所述路面和所述抛洒物对所述背景图和各所述差分图分别进行二值化和归一化处理，获得处理图像序列；

根据所述处理图像序列中的所述抛洒物的轮廓获得所述运动轨迹；

所述根据所述处理图像序列中的所述抛洒物的轮廓获得所述运动轨迹包括：

当通过所述处理图像序列确定所述抛洒物未停止运动时，确定所述本车撞击所述抛洒物的预估时间；

若所述预估时间大于预设时间，则以所述处理图像序列中的所述抛洒物的轮廓的中心连线作为所述运动轨迹；

若所述预估时间小于或等于所述预设时间，则以人工智能基于对所述处理图像序列中的所述抛洒物的轮廓的中心连线进行预测，将预测信息作为所述运动轨迹。

2.根据权利要求1所述的路面抛洒物预警方法，其特征在于，所述来自所述激光雷达的所述感知信息包括对应于所述抛洒物的点云数据；所述根据来自所述激光雷达的所述感知信息获得所述抛洒物的体积信息包括：

对所述点云数据进行体素滤波，获得预处理后的点云数据；

针对所述预处理后的点云数据，在纵向最小值与纵向最大值对应的点云之间，采用标定个水平面切割各点云，依次得到多个水平点云切片，其中，各相邻所述水平面的间距为预设距离；

生成各所述水平点云切片的外轮廓多边形，并根据所述外轮廓多边形获得所述水平点云切片的面积；

根据各所述水平点云切片的面积以及所述预设距离获得所述体积信息。

3.根据权利要求1所述的路面抛洒物预警方法，其特征在于，所述根据所述处理图像序列中的所述抛洒物的轮廓获得所述运动轨迹还包括：

当通过所述处理图像序列确定所述抛洒物已停止运动时，以所述处理图像序列中的所述抛洒物的轮廓的中心连线作为所述运动轨迹。

4.根据权利要求1至3任一项所述的路面抛洒物预警方法，其特征在于，还包括：

将所述运动轨迹转发至路侧单元，由所述路侧单元根据所述运动轨迹生成预警信息，并将所述预警信息向标定范围内的行驶车辆进行广播。

5.一种路面抛洒物预警装置，其特征在于，包括：

获取模块，用于通过感知装置获取本车前方的前车抛洒物的感知信息，其中，所述感知装置包括安装于所述本车的激光雷达和摄像头；

处理模块，用于根据来自所述激光雷达的所述感知信息与来自所述摄像头的所述感知信息获得所述抛洒物的运动轨迹；所述来自所述摄像头的所述感知信息包括对应于所述抛洒物的标定时间的视频流；所述处理模块具体用于：

根据来自所述激光雷达的所述感知信息获得所述抛洒物的体积信息；

根据所述体积信息确定预警等级；

当所述预警等级符合预设标准时，根据来自所述摄像头的所述感知信息获得所述运动轨迹，包括：

将所述视频流分解为多帧；

将第一帧作为背景图，分别生成所述第一帧之后的各帧与所述背景图的差分图；

从所述背景图确定路面和所述抛洒物的轮廓，基于所述路面和所述抛洒物对所述背景图和各所述差分图分别进行二值化和归一化处理，获得处理图像序列；

根据所述处理图像序列中的所述抛洒物的轮廓获得所述运动轨迹，包括：

当通过所述处理图像序列确定所述抛洒物未停止运动时，确定所述本车撞击所述抛洒物的预估时间；

若所述预估时间大于预设时间，则以所述处理图像序列中的所述抛洒物的轮廓的中心连线作为所述运动轨迹；

若所述预估时间小于或等于所述预设时间，则以人工智能基于对所述处理图像序列中的所述抛洒物的轮廓的中心连线进行预测，将预测信息作为所述运动轨迹；

控制模块，用于根据所述运动轨迹控制所述本车调整行驶策略。

6.一种路面抛洒物预警装置，其特征在于，包括存储有计算机程序的计算机可读存储介质和处理器，当所述计算机程序被所述处理器读取并运行时，实现如权利要求1至4任一项所述的路面抛洒物预警方法。

7.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器读取并运行时，实现如权利要求1至4任一项所述的路面抛洒物预警方法。

Images