CN115454101A - 用于探测非直视区域内的前方车辆的方法和系统 - Google Patents

Abstract

本发明涉及用于探测非直视区域内的前方车辆的方法，其包括：获取本车辆前方的行车环境图像(S1)；基于行车环境图像判断在本车辆前方的第一预设距离内是否存在第一前方车辆(S2)；如果存在第一前方车辆，则判断通过前方车辆的车窗是否识别到本车辆的非直视区域内的其他前方车辆的部分(S3)；如果识别到其他前方车辆的部分，则基于第一前方车辆的图像序列求取其他前方车辆的运动特征参数(S4)。本发明还涉及用于探测非直视区域内的前方车辆的系统。根据本发明，能够尽可能提前地探测到非直视区域内的前方车辆，准确地求取所探测到的前方车辆的运动特征参数，由此预测道路前方可能发生的交通拥堵和/或追尾碰撞事件，并提高驾驶安全性。

Description

用于探测非直视区域内的前方车辆的方法和系统

技术领域

本发明涉及车辆领域，尤其是涉及一种用于探测非直视区域内的前方车辆的方法，一种用于探测非直视区域内的前方车辆的系统，一种用于执行根据本发明的方法的步骤的计算机程序产品，以及一种包括根据本发明的系统的车辆。

背景技术

具备高级别的自动驾驶功能和/或辅助驾驶功能的车辆通常配置有车载防撞系统，其通过检测和预测在本车辆的直视(Line of Sight,LOS)区域中的前方车辆的位置和/或速度来避免碰撞事件的发生。然而，现有的车载防撞系统无法检测到本车辆的非直视(Non-Line of Sight,NLOS)区域内的车辆、尤其是在前方车辆的前方行驶的、被前方车辆遮挡的第二前方车辆的运动特征参数。在复杂的道路场景下、尤其是在第二前方车辆突然制动的情况下，这就容易导致追尾事故的发生。

因此，如何准确、有效地探测非直视区域内的前方车辆成为目前需要解决的技术难题。

发明内容

本发明的目的在于提供一种用于探测非直视区域内的前方车辆的方法，一种用于探测非直视区域内的前方车辆的系统，一种用于执行根据本发明的方法的步骤的计算机程序产品，以及一种包括根据本发明的系统的车辆，以至少部分地解决现有技术中的问题。本发明的核心构思在于：对前方车辆的图像进行分析处理，由此通过前方车辆的车窗识别本车辆的非直视区域内的其他前方车辆的部分，并进一步求取所识别的其他前方车辆的运动特征参数。根据本发明，能够借助单目摄像头在技术上开销较低地且尽可能提前地探测到被前方车辆遮挡的非直视区域内的其他前方车辆，并准确地求取所探测到的其他前方车辆的运动特征参数，由此为预测道路前方可能发生的交通拥堵和/或追尾碰撞事件奠定基础，并提高驾驶安全性。

根据本发明的第一方面，提供了一种用于探测非直视区域内的前方车辆的方法，所述方法包括：

步骤S1：获取本车辆前方的行车环境图像；

步骤S2：基于所述行车环境图像判断在所述本车辆前方的第一预设距离内是否存在第一前方车辆；

步骤S3：如果在所述本车辆前方的第一预设距离内存在第一前方车辆，则对所述第一前方车辆的图像进行分析处理，并判断通过前方车辆的车窗是否识别到本车辆的非直视区域内的其他前方车辆的部分，其中，所述其他前方车辆在所述第一前方车辆的前方行驶；和

步骤S4：如果通过所述前方车辆的车窗识别到所述其他前方车辆的部分，则基于所述第一前方车辆的图像序列求取所述其他前方车辆的运动特征参数。

根据本发明的可选实施例，所述步骤S3可以包括：

步骤S31：对所述第一前方车辆的图像进行分析处理，并基于经分析处理的第一前方车辆的图像判断通过所述第一前方车辆的车窗是否识别到本车辆的非直视区域内的第一其他前方车辆的部分，其中，所述第一其他前方车辆在所述第一前方车辆的前方行驶。

根据本发明的可选实施例，所述步骤S3还可以包括：

步骤S32：基于经分析处理的第一前方车辆的图像判断通过所述第一前方车辆的车窗和/或第一其他前方车辆的车窗是否识别到另外的其他前方车辆的部分，其中，所述另外的其他前方车辆在所述第一其他前方车辆前方行驶。

根据本发明的可选实施例，所述方法还可以包括：

步骤S5：通过所述本车辆的毫米波雷达和/或激光雷达探测所述其他前方车辆的运动特征参数，并对所求取的其他前方车辆的运动特征参数进行可信度检验。

通过这种方式可以进一步提高非直视区域内的前方车辆的探测准确性，并尽可能地避免误判。

根据本发明的可选实施例，可以通过运动恢复结构算法对所述第一前方车辆的图像序列进行分析处理，用以求取所述其他前方车辆的运动特征参数，其中，所述第一前方车辆的图像序列包括至少两帧关于所述第一前方车辆的二维图像。

根据本发明的可选实施例，所述其他前方车辆的运动特征参数例如包括所述其他前方车辆相对于所述第一前方车辆的第二相对距离和/或第二相对速度，和/或所述其他前方车辆相对于所述本车辆的第三相对距离和/或第三相对速度。

根据本发明的可选实施例，所述方法还可以包括：

步骤S6：基于所求取的其他前方车辆的运动特征参数预测是否可能发生交通拥堵和/或追尾碰撞事件；和

步骤S7：如果预测到可能发生交通拥堵和/或追尾碰撞事件，则向本车辆的用户发送光学的和/或声学的通知信息。

根据本发明的可选实施例，可以通过车载摄像头、尤其是单目摄像头获取本车辆前方的行车环境图像。可选地，所述前方车辆的车窗包括所述前方车辆的前车窗和/或后车窗。

根据本发明的可选实施例，可以通过信息通知单元向本车辆的用户发送光学的和/或声学的通知信息，其中，所述信息通知单元例如包括车载语音设备、仪表盘、平视显示屏和/或中控显示屏。

根据本发明的第二方面，提供了一种用于探测非直视区域内的前方车辆的系统，所述系统用于执行根据本发明的方法。所述系统包括以下构件中的一个或多个：车载摄像头，其被配置用于获取本车辆前方的行车环境图像；毫米波雷达和/或激光雷达，其被配置用于探测其他前方车辆的运动特征参数；控制单元，其被配置用于分析处理所述行车环境图像，求取其他前方车辆的运动特征参数，和/或预测是否可能发生交通拥堵和/或追尾碰撞事件；和信息通知单元，其被配置用于向本车辆的用户发送光学的和/或声学的通知信息。

根据本发明的第三方面，提供了一种计算机程序产品、例如计算机可读的程序载体，包含计算机程序指令，所述计算机程序指令被处理器执行时实现根据本发明所述的方法的步骤。

根据本发明的第四方面，提供了一种车辆，所述车辆包括根据本发明的系统。

附图说明

下面通过参照附图更详细地描述本发明可以更好地理解本发明的原理、特点和优点。附图示出：

图1示出根据本发明的一个示例性实施例的用于探测非直视区域内的前方车辆的方法的工作流程图；

图2示出根据本发明的一个示例性的驾驶场景图；

图3示出根据本发明的另一示例性的驾驶场景图；

图4示出根据本发明的另一示例性实施例的用于探测非直视区域内的前方车辆的方法的工作流程图；

图5示出根据本发明的另一示例性实施例的用于探测非直视区域内的前方车辆的方法的工作流程图；

图6示出根据本发明的另一示例性实施例的用于探测非直视区域内的前方车辆的方法的工作流程图；

图7示出根据本发明的另一示例性实施例的用于探测非直视区域内的前方车辆的方法的工作流程图；

图8示出根据本发明的一个示例性实施例的用于探测非直视区域内的前方车辆的系统的框图；和

图9所示的根据本发明的一个示例性的行车环境图像。

具体实施方式

为了使本发明所要解决的技术问题、技术方案以及有益的技术效果更加清楚明白，以下将结合附图以及多个示例性实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，而不是用于限定本发明的保护范围。

图1示出了根据本发明的一个示例性实施例的用于探测非直视区域内的前方车辆的方法的工作流程图。以下示例性的实施例更详细地描述根据本发明的方法。

所述方法可以包括步骤S1至S4。在步骤S1中，获取本车辆1前方的行车环境图像。在本发明的当前实施例中，可以通过车载摄像头11获取本车辆1前方的行车环境图像，其中，所述行车环境图像包括关于本车辆1前方的周围环境信息的数据。所述车载摄像头11尤其是单目摄像头，也可以是双目摄像头等其他摄像头。可以理解的是，由于单目摄像头仅使用单个镜头且其记录的二维图像的分析处理在技术上较简单，通过单目摄像头的使用可以极大地降低成本。

在步骤S2中，基于所述行车环境图像判断在本车辆1前方的第一预设距离D1内是否存在第一前方车辆2。如果在本车辆1前方的第一预设距离D1内存在第一前方车辆2，则在步骤S3中对所述第一前方车辆2的图像进行分析处理，并判断通过前方车辆的车窗是否识别到本车辆1的非直视区域内的其他前方车辆的部分，其中，所述其他前方车辆在所述第一前方车辆2的前方行驶。在本发明的意义中，所述其他前方车辆可以包括在第一前方车辆2前方行驶的第一其他前方车辆3，如图2所示的根据本发明的一个示例性的驾驶场景图那样，在此可能通过第一前方车辆2的车窗识别到第一其他前方车辆3的部分；所述其他前方车辆还可以包括在所述第一其他前方车辆3前方行驶的另外的其他前方车辆41、42，如图3所示的根据本发明的另一示例性的驾驶场景图那样，在此可能通过所述第一其他前方车辆2的车窗和/或第一其他前方车辆3的车窗观察到另外的其他前方车辆41、42的部分。

首先阐述图2所示的根据本发明的一个示例性的驾驶场景图。在所述驾驶场景下，所述步骤S3可以包括步骤S31，如图4所示的那样。在步骤S31中，对所述第一前方车辆2的图像进行分析处理，并基于经分析处理的第一前方车辆2的图像判断通过所述第一前方车辆2的车窗是否识别到本车辆1的非直视区域内的第一其他前方车辆3的部分，其中，所述第一其他前方车辆3在所述第一前方车辆2的前方行驶。在此，所述第一前方车辆2的车窗包括所述第一前方车辆2的前车窗和/或后车窗。如图9所示的根据本发明的一个示例性的行车环境图像，第一其他前方车辆3在第一前方车辆2的前方行驶，尽管第一其他前方车辆3因处在本车辆1的非直视区域内而被第一前方车辆2完全遮挡，即本车辆1的车载摄像头11无法直接探测到第一其他前方车辆3的图像，但是通过第一前方车辆2的前车窗和/或后车窗可能识别到第一其他前方车辆3的部分。

如果通过所述第一前方车辆2的车窗识别到其他前方车辆的部分，则在步骤S4中基于所述第一前方车辆2的图像序列求取所述其他前方车辆的运动特征参数。在此，可以通过例如运动恢复结构算法对所述第一前方车辆2的图像序列进行分析处理，其中，所述第一前方车辆2的图像序列包括至少两帧关于所述第一前方车辆2的二维图像。具体地，对所述第一前方车辆2的图像序列中的至少两帧二维图像进行特征点提取与特征匹配，由此获取多个匹配特征点；运动恢复结构算法通过分析所获取的匹配特征点估计摄像头参数并进行三维建模，由此在构建的三维模型中求取所述其他前方车辆的运动特征参数。以图2所示的驾驶场景图为示例，在此所求取的第一其他前方车辆3的运动特征参数例如包括所述第一其他前方车辆3相对于所述第一前方车辆2的第二相对距离D2和/或第二相对速度ΔV2，和/或所述第一其他前方车辆3相对于本车辆1的第三相对距离D3和/或第三相对速度ΔV3。可以理解的是，基于所述第一其他前方车辆3相对于所述第一前方车辆2的第二相对距离D2和/或第二相对速度ΔV2以及所述本车辆1相对于所述第一前方车辆2的第一相对距离D1和/或第一相对速度ΔV1能够求取所述第一其他前方车辆3相对于本车辆1的第三相对距离D3和/或第三相对速度ΔV3。

根据本发明的当前实施例，能够借助单目摄像头在技术上开销较低地且尽可能提前地探测到本车辆的被前方车辆遮挡的非直视区域内的其他前方车辆，并准确地求取所探测到的其他前方车辆的运动特征参数，由此为预测道路前方可能发生的交通拥堵和/或追尾碰撞事件奠定基础。

图5示出了根据本发明的另一示例性实施例的用于探测非直视区域内的前方车辆的方法的工作流程图。以下仅阐述与图4中所示的实施例的区别，而相同的步骤为了简洁起见而不再重复描述。

所述步骤S3还可以包括步骤S32。在步骤S32中，基于经分析处理的第一前方车辆2的图像判断通过所述第一前方车辆2的车窗和/或所述第一其他前方车辆3的车窗是否识别到在所述第一其他前方车辆3前方行驶的另外的其他前方车辆41、42的部分。根据本发明的可选实施例，如图3所示的根据本发明的另一示例性的驾驶场景图，所述本车辆1的非直视区域内的前方车辆不仅可以包括所述第一其他前方车辆3，而且可以包括另外的其他前方车辆，在此仅示例性地示出第二其他前方车辆41和第三其他前方车辆42。通过所述第一前方车辆2的车窗可能识别到在所述第一其他前方车辆3前方的、在相邻车道上的第二其他前方车辆41。通过所述第一前方车辆2的车窗也可能识别到在所述第一其他前方车辆3前方的、在相同车道上的第三其他前方车辆42，尤其是在所述第三其他前方车辆42、所述第一其他前方车辆3和所述第一前方车辆2不在一条直线上对齐的情况下。当所述第三其他前方车辆42、所述第一其他前方车辆3和所述第一前方车辆2在一条直线上对齐时，通过所述第一前方车辆2的车窗和所述第一其他前方车辆3的车窗也可能识别到所述第三其他前方车辆42，其中，所述第一其他前方车辆3的车窗同样包括所述第一其他前方车辆3的前车窗和/或后车窗。

如果通过所述第一前方车辆2的车窗和/或所述第一其他前方车辆3的车窗识别到所述另外的其他前方车辆41、42的部分，则在步骤S4中基于所述第一前方车辆2的图像序列求取所述另外的其他前方车辆41、42的运动特征参数。在此，同样通过运动恢复结构算法对所述第一前方车辆2的图像序列进行分析处理，用以求取所述另外的其他前方车辆41、42的运动特征参数，其中，所述第一前方车辆2的图像序列包括至少两帧关于所述第一前方车辆2的二维图像。所述另外的其他前方车辆41、42的运动特征参数包括所述另外的其他前方车辆41、42相对于所述第一前方车辆2的第二相对距离D21和/或第二相对速度ΔV21，和/或所述另外的其他前方车辆41、42相对于所述本车辆1的第三相对距离D31和/或第三相对速度ΔV31。可以理解的是，基于所述另外的其他前方车辆41、42相对于所述第一前方车辆2的第二相对距离D21和/或第二相对速度ΔV21以及所述本车辆1相对于所述第一前方车辆2的第一相对距离D1和/或第一相对速度ΔV1能够求取所述另外的其他前方车辆41、42相对于本车辆1的第三相对距离D31和/或第三相对速度ΔV31。

需要说明的是，图3中所示的第二其他前方车辆41、第三其他前方车辆42仅仅是示例性的，所述另外的其他前方车辆可以是在所述第一其他前方车辆3前方行驶的、可能被探测到的任何车辆。此外，根据车队中各个其他前方车辆的位置关系，也可能通过例如第一其他前方车辆3和/或第三其他前方车辆42的车窗识别到在第三其他前方车辆42的前方行驶的第四其他前方车辆的部分，并可以求取第四其他前方车辆的运动特征参数，这在本发明的可选实施例中不再进行详细阐述。

图6示出了根据本发明的另一示例性实施例的用于探测非直视区域内的前方车辆的工作流程图。以下仅阐述与图1中所示的实施例的区别，而相同的步骤为了简洁起见而不再重复描述。

所述方法还可以包括步骤S5。在步骤S5中，通过所述本车辆1的毫米波雷达12和/或激光雷达15探测所述其他前方车辆的运动特征参数，并对所求取的其他前方车辆的运动特征参数进行可信度检验。需要说明的是，激光雷达具有测速测距精度高、角度分辨率高等优点，但成本较高，无法大量投入使用；毫米波雷达具有测速测距精度高、环境鲁棒性性强、成本合理等优点，但其角度分辨率较低，无法判断物体类型，也无法求取物体尺寸。如果本车辆1配备有毫米波雷达12和/或激光雷达15，则可以基于毫米波雷达12和/或激光雷达15探测的第一其他前方车辆3和/或所述另外的其他前方车辆41、42的运动特征参数对所求取的第一其他前方车辆3和/或所述另外的其他前方车辆41、42的运动特征参数进行可信度检验。通过这种方式可以进一步提高非直视区域内的前方车辆的探测准确性，并尽可能地避免误判。

图7示出了根据本发明的另一示例性实施例的用于探测非直视区域内的前方车辆的工作流程图。以下仅阐述与图6中所示的实施例的区别，而相同的步骤为了简洁起见而不再重复描述。

所述方法还可以包括步骤S6和S7。在步骤S6中，基于所求取的其他前方车辆的运动特征参数预测是否可能发生交通拥堵和/或追尾碰撞事件。示例性地，如果所述第一其他前方车辆3相对于所述第一前方车辆2的第二相对距离D2小于预设的跟车距离阈值且所述第一其他前方车辆3相对于所述第一前方车辆2的第二相对速度ΔV2小于预设的跟车速度差阈值，则预测到在前方道路可能发生交通拥堵；如果所述第一其他前方车辆3相对于所述第一前方车辆2的第二相对距离D2小于预设的安全距离阈值且所述第一其他前方车辆3相对于所述第一前方车辆2的第二相对速度ΔV2大于预设的安全速度差阈值，则预测到所述第一其他前方车辆3与所述第一前方车辆2可能发生追尾碰撞事件。

如果预测到可能发生交通拥堵和/或追尾碰撞事件，则在步骤S7中向本车辆1的用户发送光学的和/或声学的通知信息。在此，可以通过信息通知单元14向本车辆1的用户发送光学的和/或声学的通知信息，其中，所述信息通知单元14例如包括车载语音设备、仪表盘、平视显示屏和/或中控显示屏。通过这种方式可以提高车辆的行车安全性。

另外，应注意到，在此描述的步骤序号并不必然代表先后顺序，而仅仅是一种附图标记，根据具体情况，顺序可以更改，只要能够实现本发明的技术目的即可。

图8示出根据本发明的一个示例性实施例的用于探测非直视区域内的前方车辆的系统的框图。

如图8所示的那样，所述系统10可以包括以下构件中的一个或多个：车载摄像头11，其被配置用于获取本车辆1前方的行车环境图像；毫米波雷达12和/或激光雷达15，其被配置用于探测其他前方车辆3、41、42的运动特征参数；控制单元13，其被配置用于分析处理所述行车环境图像，求取所述其他前方车辆3、41、42的运动特征参数，和/或预测是否可能发生交通拥堵和/或追尾碰撞事件；和信息通知单元14，其被配置用于向本车辆1的用户发送光学的和/或声学的通知信息，所述信息通知单元14例如包括车载语音设备、仪表盘、平视显示屏和/或中控显示屏。

尽管在此详细描述了本发明的特定实施方式，但它们仅仅是为了解释的目的而给出的，而不应认为它们对本发明的范围构成限制。在不偏离本发明的核心和范围的前提下，可以提出各种替换方案和修改方案。

Claims (12)

1.一种用于探测非直视区域内的前方车辆的方法，所述方法包括：

步骤S1：获取本车辆(1)前方的行车环境图像；

步骤S2：基于所述行车环境图像判断在所述本车辆(1)前方的第一预设距离(D1)内是否存在第一前方车辆(2)；

步骤S3：如果在所述本车辆(1)前方的第一预设距离(D1)内存在第一前方车辆(2)，则对所述第一前方车辆(2)的图像进行分析处理，并判断通过前方车辆(2、3、41、42)的车窗是否识别到本车辆(1)的非直视区域内的其他前方车辆(3、41、42)的部分，其中，所述其他前方车辆(3、41、42)在所述第一前方车辆(2)的前方行驶；和

步骤S4：如果通过所述前方车辆(2、3、41、42)的车窗识别到所述其他前方车辆(3、41、42)的部分，则基于所述第一前方车辆(2)的图像序列求取所述其他前方车辆(3、41、42)的运动特征参数。

2.根据权利要求1所述的方法，其中，所述步骤S3包括：

步骤S31：对所述第一前方车辆(2)的图像进行分析处理，并基于经分析处理的第一前方车辆(2)的图像判断通过所述第一前方车辆(2)的车窗是否识别到本车辆(1)的非直视区域内的第一其他前方车辆(3)的部分，其中，所述第一其他前方车辆(3)在所述第一前方车辆(2)的前方行驶。

3.根据权利要求2所述的方法，其中，所述步骤S3还包括：

步骤S32：基于经分析处理的第一前方车辆(2)的图像判断通过所述第一前方车辆(2)的车窗和/或第一其他前方车辆(3)的车窗是否识别到另外的其他前方车辆(41、42)的部分，其中，所述另外的其他前方车辆(41、42)在所述第一其他前方车辆(3)前方行驶。

4.根据权利要求1至3中任一项所述的方法，其中，所述方法还包括：

步骤S5：通过所述本车辆(1)的毫米波雷达(12)和/或激光雷达(15)探测所述其他前方车辆(3、41、42)的运动特征参数，并对所求取的其他前方车辆(3、41、42)的运动特征参数进行可信度检验。

5.根据权利要求1至3中任一项所述的方法，其中，通过运动恢复结构算法对所述第一前方车辆(2)的图像序列进行分析处理，用以求取所述其他前方车辆(3、41、42)的运动特征参数，其中，所述第一前方车辆(2)的图像序列包括至少两帧关于所述第一前方车辆(2)的二维图像。

6.根据权利要求1至3中任一项所述的方法，其中，所述其他前方车辆(3、41、42)的运动特征参数包括所述其他前方车辆(3、41、42)相对于所述第一前方车辆(2)的第二相对距离(D2、D21)和/或第二相对速度(ΔV2、ΔV21)，和/或所述其他前方车辆(3、41、42)相对于所述本车辆(1)的第三相对距离(D3、D31)和/或第三相对速度(ΔV3、ΔV31)。

7.根据权利要求1至3中任一项所述的方法，其中，所述方法还包括：

步骤S6：基于所求取的其他前方车辆(3、41、42)的运动特征参数预测是否可能发生交通拥堵和/或追尾碰撞事件；和

步骤S7：如果预测到可能发生交通拥堵和/或追尾碰撞事件，则向本车辆(1)的用户发送光学的和/或声学的通知信息。

8.根据权利要求1至3中任一项所述的方法，其中，通过车载摄像头(11)、尤其是单目摄像头获取本车辆(1)前方的行车环境图像；和/或

通过信息通知单元(14)向本车辆(1)的用户发送光学的和/或声学的通知信息，其中，所述信息通知单元(14)包括车载语音设备、仪表盘、平视显示屏和/或中控显示屏。

9.根据权利要求1至3中任一项所述的方法，其中，所述前方车辆(2、3、41、42)的车窗包括所述所述前方车辆(2、3、41、42)的前车窗和/或后车窗。

10.一种用于探测非直视区域内的前方车辆的系统(10)，所述系统(10)用于执行根据权利要求1至9中任一项所述的方法，其中，所述系统(10)包括以下构件中的一个或多个：

车载摄像头(11)，其被配置用于获取本车辆(1)前方的行车环境图像；

毫米波雷达(12)和/或激光雷达(15)，其被配置用于探测其他前方车辆(3、41、42)的运动特征参数；

控制单元(13)，其被配置用于分析处理所述行车环境图像，求取其他前方车辆(3、41、42)的运动特征参数，和/或预测是否可能发生交通拥堵和/或追尾碰撞事件；和

信息通知单元(14)，其被配置用于向本车辆(1)的用户发送光学的和/或声学的通知信息。

11.一种计算机程序产品、例如计算机可读的程序载体，包含计算机程序指令，所述计算机程序指令被处理器执行时实现根据以上权利要求中任一项所述的方法的步骤。

12.一种车辆，所述车辆包括根据权利要求10所述的系统(10)。

Images