CN113276769B - 车辆盲区防撞预警系统及方法 - Google Patents

Abstract

本发明公开了车辆盲区防撞预警系统及方法，系统包括：盲区目标采集单元，用于采集盲区障碍物视频图像流和盲区障碍物雷达点云数据；目标融合计算单元，用于确定是否存在障碍物，进行时间对齐和空间对齐处理，像素分割，聚类匹配，目标识别，得到候选障碍物目标集；信息提取单元，用于提取车辆行车信息；分级告警控制单元，用于根据车辆自身状态动态调整盲区，根据目标种类和状态确定危险等级，并动态调整分级预警策略生成告警指令；告警单元，用于根据告警指令控制告警设备进行盲区信息告警。本发明能降低驾驶员的操纵负担，大幅度提升了预警和避碰行为的反应时间，从而更有效的实现盲区安全。

Description

车辆盲区防撞预警系统及方法

技术领域

本发明涉及智能辅助驾驶技术领域，特别涉及一种车辆盲区防撞预警系统及方法。

背景技术

汽车保有量的逐年激增所引发的频繁交通事故愈发受到关注，事故给人们的生命财产安全、社会通勤效率等造成了严重的损失，其中以商用车为代表的大车因其引发的事故往往结果较为惨痛、影响恶劣而尤为受到关注。此类事故中，视线盲区而引发的交通事故占据了很大的比例，因此解决车辆盲区碰撞问题一直是汽车安全技术的一个热点。

车辆的自身结构导致不可避免地存在视觉盲区，同时受到地形的影响、交叉路口建筑物的遮挡、其他交通工具的遮挡以及转弯时的内轮差效应也会形成视觉盲区。其中，车辆盲区主要分为：车头、车尾、车底、A/B柱、转弯、后视镜等盲区。尤其地，当汽车在转弯或者进入弯道时，视野都会被车辆A柱部分遮挡，产生视觉盲区。此外，当集中注意力注视前方时，由于视觉特性，驾驶员本身的视野会不自主的收窄加剧盲区，而当驾驶员短暂的转移注意力到盲点区域去观察是否存在危险，又造成无法集中注意力于车辆前方的状况，这种“顾此失彼”导致一系列交通事故发生。其中，车侧和车头盲区引发的交通事故占比较大，因此车头和车侧盲区防碰是目前车辆盲区解决技术研究的重点。

车辆盲区防碰预警系统就是利用一定的技术手段来缩窄车辆盲区，从而使驾驶员获得超视野的感知，以此提前预知危险来临，从而采取措施规避避。商用车等大车因其驾驶舱位置高、轮距宽、车体长等因素导致的视觉盲区较一般车辆要大的多。因此，对于行人和骑自行车人等道路弱势群体VRU(Vulnerable road users，简称VRU，下同)来说，大车是一个重要的危险来源。当大车在转弯时，VRU很容易落入大车的视野盲区，从而面临严重的危险；对于驾驶员而言，转弯也都是危险的操作，常使他们感到压力。因此车辆盲区防碰预警系统能带来社会、司机、行人三方面的收益。

目前，主流车辆盲区应对技术盲区应对技术大致分为三类：第一类，从车辆自身造型结构上入手，例如优化车辆A、B柱构型，尽可能减少盲区；第二类，依赖于道路基础设施的盲区缩小技术，例如弯道和路口的转角反光镜、地磁系统、车辆联网终端设备；第三类，车载盲区预警装置，例如依赖各类传感器的盲区障碍探索和反馈设备，以期利用传感器使驾驶员超视野感知。受限于车体结构、造型、安全法规等，第一类技术优化空间非常小，对商用车等大型车而言作用更加微弱；第二类技术，严重依赖于道路基础设施，转角镜、地磁系统在车侧有停车等情形下容易失效，此外转角镜还受到光线、雨水、雪雾等天气因素的严重影响，车联网设备依赖于卫星、网络等定位设备，迫于成本和现阶段车联网的低渗透率，难以大规模应用；第三种技术，由于自主性好、成本经济、效果好，从而受到各大技术提供商的青睐。

目前，市面上的车载盲区预警系统效果差异较大，并且同一系统在不同行车环境下测试结果差距也较大，其主要原因是系统采用了不同的感知方案。对于盲区碰撞预警系统，感知端能否准确、及时、全面、鲁棒地在全天候条件下获取盲区VRU及车辆等障碍物信息，并通过有效、直接的方式将信息反馈给驾驶员是系统有效性的关键。

当前，市场上的盲区预警系统普遍采用超声波雷达或者毫米波雷达单传感器方案，配合广角摄系统回传盲区图像信息，不对盲区目标的进行甄别和分类。雷达存在较大的误检，容易将树木、草丛、垃圾桶、栏杆等低危险目标误识别为障碍物，导致系统频繁虚警；其次，单纯的基于障碍物是否为移动目标的简单筛选机制，又容易将低速或静态VRU、车辆等过滤掉，导致预警系统失效；进一步，由于传感端无法实现障碍物的有效分类，系统也无法对盲区障碍物采用针对性的预警措施，预警效果有限。因此，当前盲区预警系统难以取得驾驶员的信任，不能达到预定目的。

其次，当前盲区预警信息大多是单向促使驾驶员采取规避行动，预警系统难以对盲区内VRU和车辆等障碍物起到预警和行为影响，不能敦促其产生规避行为；最后，盲区碰撞预警信息都是基于当前时刻的车辆状态，不能实现对未来时刻盲区信息的有效预报，即障碍物进入盲区以后才开始播报预警，此时距离未来碰撞事故的发生时刻往往很近，留给规避碰撞的有效时间偏短，从而导致驾驶员、VRU或者车辆来不及采取规避行为，不能有效避免事故发生。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种车辆盲区防撞预警系统，能够提供一种可有效、准确地实现盲区信息预报、能对VRU等盲区障碍物(盲区内有碰撞风险的物体统称障碍物，下同)产生及时劝导、针对不同盲区障碍物具备分级分类预警措施的预警系统。通过该系统可以实现不同类型障碍物的针对性预警和提前预警，并可以实现对VRU等障碍物和驾驶员的双向有效警示和行为引导，进一步降低驾驶员的操纵负担，从更有效的实现盲区安全。

本发明还提出一种车辆盲区防撞预警方法。

根据本发明的第一方面实施例的车辆盲区防撞预警系统，包括：盲区目标采集单元，包括至少一个摄像头和至少一个雷达，用于采集盲区障碍物视频图像流和盲区障碍物雷达点云数据；目标融合计算单元，用于基于所述雷达点云特征确定是否存在障碍物，对视频图像与雷达点云进行时间对齐和空间对齐处理，并对视频图像进行像素分割，将得到的像素块与雷达点云进行聚类匹配，并对像素块进行目标识别，得到候选障碍物目标集；信息提取单元，包括方向盘转角传感器和车载IMU，用于提取车辆行车状态信息；分级告警控制单元，用于根据车辆自身状态动态调整盲区，根据目标种类和状态确定危险等级，并动态调整分级预警策略生成告警指令；告警单元，用于根据告警指令控制告警设备进行盲区信息告警。

根据本发明的一些实施例，所述目标融合计算单元包括GPU图像处理器和融合计算MCU，用于分拣出盲区内候选障碍物目标，所述候选障碍物目标包括道路弱势群体、车辆和可疑移动障碍物。

根据本发明的一些实施例，所述目标融合计算单元包括：障碍物检测模块，用于接收各区雷达反射点云数据，基于无障碍物时的雷达点云特征确定各盲区是否存在盲区障碍物；视频流图像化模块，用于接收各区摄像头的视频流并进行视频图像化，得到带时间戳信息的图像；时间对齐模块，用于将所述带时间戳的图像和雷达点云数据进行时间对齐，将小于一定时间差阈值的雷达点云数据和视频图像数据作为同一时刻盲区的信息；坐标系模块，用于建立车身坐标系并获取各区摄像头、雷达在所述车身坐标系的自身坐标；并且建立雷达成像坐标系和摄像机成像坐标系，并获取反射点相对雷达成像坐标系的坐标以及像素点相对摄像机成像坐标系的坐标；空间对齐模块，用于通过旋转平移矩阵，将反射点坐标和像素点坐标转换到所述车身坐标系，并基于反射点和像素点相对车身的位置关系，将反射点和像素点进行关联；聚类匹配模块，用于对视频图像进行像素块分割，并将得到的像素块与雷达点云在空间上进行聚类匹配；拓维全参数图像模块，用于为分割后的像素块匹配上反射点的速度、距离和方位信息；目标识别模块，用于基于训练好的VRU检测神经网络模型和车辆检测神经网络模型对拓维全参数图像中的像素块进行目标识别，对车辆、VRU、可疑移动障碍物物取并集得到候选障碍物目标集，并将所述候选障碍目标集发送至所述分级告警控制单元。

根据本发明的一些实施例，所述分级告警控制单元包括：盲区位置计算模块，用于获取当前车辆行车状态信息，并结合车身固有参数动态计算车辆当前时刻盲区大小；并基于车辆动力学模型和当前车辆行车状态信息计算未来时刻车辆位置、姿态及未来时刻盲区位置；目标障碍物碰撞时间值模块，用于获取候选障碍物目标集，根据进入盲区的障碍物根据其速度、方位、距离及航向动态计算碰撞时间值；预警策略模块，用于根据碰撞时间阈值和障碍物种类确定危险等级，并根据危险等级确定预警策略。

根据本发明的一些实施例，所述告警单元包括：编程LED投影矩阵灯、语音蜂鸣播报器、车内语音播报器、频闪灯、中央显示器；所述编程LED投影矩阵灯与所述语音蜂鸣播报器用于对盲区内的道路弱势群体和车辆产生警告和行为引导；所述频闪灯、所述车内语音播报器以及中央显示器用于对驾驶员进行告警和行为引导；其中，所述编程LED投影矩阵灯设置在车辆驾驶舱外顶部后方两侧，所述语音蜂鸣播报器设置在两侧后视镜附近，所述频闪灯设置在车辆两侧后视镜上。

根据本发明的一些实施例，所述盲区根据车辆行进方向从后到前分为盲区预警区、当前盲区、未来盲区；所述分级预警策略至少包括以下策略中的一条：当发现盲区内存在候选障碍物时，控制相应盲区的所述编程LED投影矩阵灯对不同盲区采用不同颜色的灯光照射；根据不同的危险等级，控制所述语音蜂鸣播报器、频闪灯以及车内语音播报器采用不同速度进行预设音频播放或灯光闪烁；检测到候选障碍物时，控制所述障碍物所在的车辆一侧的所述语音蜂鸣播报器和所述频闪灯发出告警；检测到盲区候选障碍物时，控制所述车内语音播报器播报障碍物类型、方位及距离；检测到盲区候选障碍物时，控制所述中央显示器实时呈现车辆当前盲区视频实况。

根据本发明的第二方面实施例的车辆盲区防撞预警方法，包括：盲区目标采集步骤，采集盲区障碍物视频图像流和盲区障碍物雷达点云数据；目标融合计算步骤，基于所述雷达点云特征确定是否存在障碍物，对视频图像与雷达点云进行时间对齐和空间对齐处理，并对视频图像进行像素分割，将得到的像素块与雷达点云进行聚类匹配，并对像素块进行目标识别，对VRU、车辆和可疑移动障碍物取并集得到候选障碍物目标集；信息提取步骤，提取车辆行车状态信息；分级告警控制步骤，根据车辆自身状态动态调整盲区，根据目标种类和状态确定危险等级，并动态调整分级预警策略生成告警指令；告警步骤，根据告警指令控制告警设备进行盲区信息告警。

根据本发明的一些实施例，所述目标融合计算步骤包括：障碍物检测步骤，接收各区雷达反射点云数据，基于无障碍物时的雷达点云特征确定各盲区是否存在盲区障碍物；视频流图像化步骤，接收各区摄像头的视频流并进行视频图像化，得到带时间戳信息的图像；时间对齐步骤，将所述带时间戳的图像和雷达点云数据进行时间对齐，将小于一定时间差阈值的雷达点云数据和视频图像数据作为同一时刻盲区的信息；建立坐标系步骤，建立车身坐标系并获取各区摄像头、雷达在所述车身坐标系的自身坐标；并且建立雷达成像坐标系和摄像机成像坐标系，并获取反射点相对雷达成像坐标系的坐标以及像素点相对摄像机成像坐标系的坐标；空间对齐步骤，通过旋转平移矩阵，将反射点坐标和像素点坐标转换到所述车身坐标系，并基于反射点和像素点相对车身的位置关系，将反射点和像素点进行关联；聚类匹配步骤，对视频图像进行像素块分割，并将得到的像素块与雷达点云在空间上进行聚类匹配；构建拓维全参数图像步骤，为分割后的像素块匹配上反射点的速度、距离和方位信息；目标识别步骤，基于训练好的VRU检测神经网络模型和车辆检测神经网络模型对拓维全参数图像中的像素块进行目标识别，对VRU、车辆和移动障碍物取并集得到候选障碍物目标集。

根据本发明的一些实施例，所述分级告警控制步骤包括：计算盲区位置步骤，获取当前车辆行车状态信息，并结合车身固有参数动态计算车辆当前时刻盲区大小；并基于车辆动力学模型和当前车辆行车状态信息计算未来时刻车辆位置、姿态及未来时刻盲区位置；计算目标障碍物碰撞时间值步骤，获取候选障碍物目标集，根据进入盲区的障碍物根据其速度、方位、距离及航向动态计算碰撞时间值；预警策略选择步骤，根据碰撞时间阈值和障碍物种类确定危险等级，并根据危险等级确定预警策略。

根据本发明的一些实施例，所述盲区根据车辆行进方向从后到前分为盲区预警区、当前盲区、未来盲区；所述分级预警策略至少包括以下策略中的一条：当发现盲区内存在候选障碍物时，控制编程LED投影矩阵灯对不同盲区采用不同颜色的灯光照射；根据不同的危险等级，控制语音蜂鸣播报器、频闪灯以及车内语音播报器采用不同速度进行预设音频播放或灯光闪烁；检测到盲区内存在候选障碍物时，控制所述动态障碍物所在的车辆一侧的语音蜂鸣播报器和频闪灯发出告警；检测到盲区内存在候选障碍物时，控制车内语音播报器播报障碍物类型、方位及距离；检测到盲区障碍物时，控制中央显示器实时呈现车辆当前盲区视频实况。

本发明实施例至少具有如下有益效果：

本发明实施例利用雷达和视觉融合的手段实现对盲区检测，相较单纯的基于雷达的盲区预警系统，能显著提高盲区障碍物检测准确度，降低虚警和漏检概率；同时，基于像素块的稀疏毫米波雷达点云的聚类关联与后续的全拓维图像识别，在提升感知端感知准确性的同时不会造成大的计算资源消耗和高性能硬件需求。此外，组合式传感器系统不受天气光照等因素影响，可实现全天候、全工况下盲区鲁棒监测，提升盲区预警系统的场景适用性；本发明实施例通过车身姿态、状态等参数基于动力学模型将车身盲区动态划分，对不同盲区类障碍物采取分类分级式预警策略，相较单一预警策略能更加动态全面地反应盲区状况，对未来盲区类的VRU行为产生影响积极引导，能大大降低行人车辆等障碍物闯入盲区的造成的突发性，能进一步降低驾驶员的操纵负担，大幅度提升了预警和避碰行为的反应时间，从更有效的实现盲区安全。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的系统的模块及功能示意框图。

图2为本发明实施例的系统的硬件在车辆上的分布示意图。

图3为本发明实施例的方法的流程示意图。

图4为本发明实施例的目标融合计算步骤的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个及两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明主要针对当前智能辅助驾驶中车辆盲区碰撞预警技术。车辆的自身结构导致不可避免地存在视觉盲区，同时受到地形的影响、交叉路口建筑物的遮挡、其他交通工具的遮挡以及转弯时的内轮差效应也会形成视觉盲区。此外，由于视觉特性，当集中注意力注视前方时，驾驶员本身的视野会不自主的收窄加剧盲区范围。以商用车为代表的大车因自身结构特点，盲区较一般小型车辆大得多，这对驾驶员产生较大的心里负担，“顾此失彼”会进一步加剧风险，从而引发一系列盲区碰撞交通事故。本发明提供了一种能实现对盲区内障碍物有效监测、针对性分级分类碰撞预警的系统装置，能有效大幅度的提早碰撞预警时间，并实现对行人等障碍物和驾驶员及障碍物行为的有效双向引导。

目前，市面的盲区预警系统的传感端无法实现盲区障碍物精确分类，不能有效区分VRU、车辆和其他低危险(建筑、栏杆、树木、垃圾桶等)目标，存在频繁虚警；简单的根据障碍物是否移动的过滤方案，又容易丧失对低速或静态VRU、车辆等重点目标的警觉造成漏报。与此同时，绝大多数无法都是基于当前时刻的，无法对未来时刻情形进行预警，此时距离碰撞事故发生的有效规避时间太短，导致驾驶员来不及采取规避行为；同时，盲区预警信息往往只能单向传递给驾驶员，促使驾驶员采取规避行为，无法对盲区行人等障碍物产生预警和行为劝导。本发明的盲区碰撞预警系统装置能实现盲区有效监测和预警，能够较大幅度提前碰撞预警时间；此外，系统能够实现驾驶员和VRU行为双向预警和行为引导，和对不同类型对象的分类分级预警，从而提升系统有效性和驾驶员对系统信心，降低驾驶员驾驶负担和交通事故发生的概率，具有较好的社会效益。

参照图1，本发明涉及的车辆盲区防撞预警系统总体上大致分为5个单元：盲区目标采集单元、目标融合计算单元、信息提取单元、分级告警控制单元、告警单元，系统具体单元组成及其作用如图1所示。系统装置的工作流程大致为：盲区目标检测单元实现对盲区目标信息采集，目标融合计算单元用于实现盲区目标物检测和低威胁障碍物过滤以提高障碍目标检测的准确性，分级告警控制单元根据车辆自身状态动态调整盲区，并根据目标种类状态动态调整分级预警策略生成告警指令，告警单元则根据告警控制的指令控制蜂鸣器、LED投影矩阵灯、左右报警灯、显示器对驾驶员和VRU进行盲区信息告警。

参照图2，具体地，盲区目标采集单元包含三个广角摄像头、三个宽角短距毫米波雷达以及数据缓存器，主要用于完成车辆两侧及车前盲区信息采集与缓存，信息包含目标视频流和毫米波雷达点云数据。其中，三个广角摄像头从左到右依次安装在左后视镜、前挡风玻璃中央(或者车辆前脸中央高处)、右后视镜上，以此保证良好的广角采集视野，其安装位置如图2所示。三个宽角短距毫米波从左到右也安装两个后视镜处及前脸处。毫米波雷达不受光线雨水等天气因素影响，获取目标的距离、速度、方位等信息准确，但是其存在点云稀疏等缺陷，导致信息维度和信息量不足；摄像头信息丰富却对天气光线敏感，目标速度、距离等信息提取困难，因此利用二者的互补优势可以实现盲区信息互补式全天候、全工况获取，并将采集的盲区信息传递给目标融合计算单元。

目标融合计算单元主要包括GPU(Graphics Processing Unit，简称GPU，下同)图像处理器、融合计算MCU，其作用完成视觉与雷达检测融合，并对盲区低威胁的障碍物进行过滤，分拣出盲区内VRU、车辆、可疑移动障碍物等候选障碍物目标。具体工作流程参照图3，首先，接收各区雷达反射点云数据，基于无障碍物时雷达点云特征初步判断各盲区是否存在障碍物；若无明显反射点特征异常，断定无障碍物，继续循环接收下一时刻各区雷达点云；若是则初步认定存在盲区障碍物，续尔进行一下处理，接收各区摄像头的视频流并进行视频图像化，利用带有时间戳信息的图像和雷达点云进行时间对齐，将小于一定时间差阈值的雷达点云和视频图像认为是同一时刻盲区信息的不同传感呈现形式。同时，建立车身坐标系，获取各区摄像头、雷达在该车身坐标系下自身坐标；建立雷达成像和摄像机成像坐标系，并获取反射点和像素点相对各自传感器成像坐标系的坐标；进一步，通过旋转平移矩阵，获取雷达反射点、像素点所代表障碍目标相对车辆坐标系的关系；利用雷达反射点、像素成像点相对车身的位置关系，将雷达反射点和像素成像点进行关联，即反射点与像素点坐标转换到同一车辆坐标系下，对像素点与雷达反射点进行空间对齐；对视频图像进行像素块分割，并将像素块与雷达点云在空间上进行聚类匹配；进一步，为分割后的像素块匹配上雷达反射点的速度、距离、方位等信息，构建拓维全参数图像，对拓维图像进行增强等一系列图像预处理；接着，利用训练好的VRU检测神经网络模型、车辆检测神经网络模型对全参数图片中的像素块进行目标识别，对车辆、VRU、含有速度的但未能辨识出类别像素块所代表的目标(实际道路情形中此类障碍物无法穷举，例如，雨天举伞的行人、穿雨衣的行人、人力车、畜力车、穿行的动物等。为此类目标构分别构建神经网络模型工程上不可行，但此类移动目标同样具备很高的危险性)取并集构成候选障碍目标集，续尔对候选障碍目标集内的障碍物进行编码、状态参数存储与跟踪；最后，将候选障碍物目标发送至分级分类告警控制单元。通过雷达和摄像头融合，能够在有效剔除建筑、栏杆等低威胁静态目标(此类静态目标，往往很容易被驾驶员注意到，发生碰撞的概率较低)，通过雷达和视觉的综合手段，目标融合计算单元即能实现障碍物的分类精准识别，又能剔除低威胁静态障碍物，同时保留对可疑移动障碍物的警惕性，降低系统虚警和漏检概率，从源头上提高感知的准确度、提升驾驶员对预警系统的信任度。

参照图2，信息提取单元主要用于车辆状态信息提取与更新，为分级告警控制单元决策提供必要参考信息。该单元包括方向盘转角传感器、车载IMU(Inertial MeasurementUnit，简称IMU，下同)，其中方向盘转角用于获取驾驶的转向操作，同轴安装在转向柱上(图2，安装位置未体现出来)，利用转向器与前轮转角之间的比例关系，既可以计算当前驾驶员期望的转向角度，以便告警控制单元通过车辆动力学模型获取未来时刻车辆的转向姿态角，综合当前车辆速度等信息对未来车辆状态进行预判；车载IMU安装驾驶舱中后部位于座椅下方，用于获取当前时刻车辆的状态(速度、航向角、车身侧倾角等姿态角)，为接下来的控制单元计算当前车辆盲区提供必要信息。

分级告警控制单元由执行计算程序的车载MCU和存储计算程序的存储器构成，主要用于综合目标融合计算单元和信息提取单元的信息，进行车辆当前盲区动态调整，针对动态障碍物种类、危险程度决策不同的预警方式(蜂鸣等级、语音播报方式、报警灯闪烁方式、LED投影形式)，并生成报警指令传递给告警单元。具体的，分级告警控制单元信息提取单元信息，并综合车身固有参数(轴距、轮距、车款、车长、车高)动态计算车辆当前时刻盲区大小，与此同时基于车辆动力学模型综合当前车速、姿态、方向盘转角等状态信息计算未来时刻车辆位置、姿态及未来时刻盲区位置，进一步，综合当前时刻和未来时刻盲区，生成LED矩阵灯投影区域；此外，对进入盲区的障碍物根据其速度、方位、距离、航向动态计算碰撞时间TTC(Time-To-Collision，简称TTC，下同)值，根据TTC域值和障碍物种类确定危险等级，将高危险等级障碍物作为优先处理的目标障碍物，并据此采取不同的预警策略。关于目标障碍物危险等级TTC阈值，本发明不加限定，可针对不同车型做出适当调整。

具体地，对快速接近盲区但尚处在于盲区外的障碍物，控制单元保持对其持续跟踪和状态更新，以提升障碍物进入盲区时系统响应速度，避免障碍物突发性进入而引发的系统失效。控制单元对进入盲区的障碍物，根据TTC值对障碍物划分潜在危险等级：一级危险、二级危险、三级危险。其中，三种危险等级依次对应一般危险(需要注意的危险，无需采取规避动作)，二级危险(需要保持关注，谨慎驾驶采取规避措施)，三级危险(需要时刻关注，立即采取规避措施)。与此同时，将车辆盲区依据行进方向从后到前(车尾到车头)的方位分成三大部分：盲区预警区、当前盲区、未来盲区。

针对四种等级的危险和三种盲区，控制单元、车外左右语音蜂鸣器、频闪灯、车内音频播放器、LED矩阵投影灯、车内中央显示器采取了不同的告警形式。对三大类盲区采取不同的颜色的灯光投影策略：当VRU、车辆等障碍物进入盲区预警区，则对盲区预警区采用静态蓝色灯光照射；进入当前盲区，则对当前盲区采用红色闪烁灯光照射驱离；对进入未来盲区的，则采用黄色灯光投影驱离；未有发现障碍物进入盲区的，LED矩阵投影灯静默以节能。针对三种危险等级，车外两侧的语音蜂鸣器、频闪灯以及车内音频播放器依据危险程度分别采用慢速、常速、快速三种速度进行预设音频播放或者灯光闪烁，其中蜂鸣器和频闪灯只有在检测到本侧盲区域内动态障碍物时才动作，用于引导驾驶员对应侧盲区的关注，其余时刻蜂鸣器和频闪灯保持静默；车内音频播放器在发现盲区障碍物时播报障碍物类型、方位、距离，从而引导驾驶员采取必要的规避动作；中央显示器在激活状态下(系统检测到盲区障碍物时)，实时呈现车辆当前盲区视频实况，避免非必要的驾驶员注意力占用导致的驾驶分心。相比传统的盲区预警系统，通过灯光、声音、视频综合预警措施不仅能做到当前时刻盲区预警，以及驾驶员、VRU等障碍物的双向行为引导，还能对未来时刻盲区进行预警，对VRU和驾驶员产生提前预警和行为引导，具体盲区预警策略如下表1所示：

表1分级分类预警策略

告警单元主要由声光设备构成，包括两侧编程LED投影矩阵灯、两侧语音蜂鸣播报器、车内语音播报器、两侧频闪灯、中央显示器设备，用于响应告警控制单元的告警指令，使用声光信号对驾驶员和盲区人员进行双向预警和行为引导，从而避免碰撞。安装在车辆驾驶舱后方两侧附近的编程LED投影矩阵灯和语音蜂鸣器主要用于对盲区类的VRU、车辆产生警告和行为引导，其中，特定颜色、语音、频率对盲区内VRU、车辆产生的视听双重告警，相比单纯音频信号具有更强的震慑和驱离告警作用；安装在两侧后视镜上的频闪灯、中央语音播报器以及安装在车内的中央显示器主要用于对驾驶员进行告警和行为引导，在接收到控制单元下发的盲区指令后结束休眠，进行声光报警、视频显示。告警单元通过声光设备对驾驶员和盲区人员产生的双向告警和行为引导，相较传统的纯粹驾驶员预警型盲区预警设备和盲区行人语音驱离设备，光电信号具备更显著特征性、更强的刺激性，对盲区内的车辆内人员和带耳机以及听障人士也具备良好的告警驱离作用，因此能更有效降低盲区碰撞概率；此外，盲区预警区、当前盲区、未来盲区的细分和进入相应盲区对应预警策略，能大幅度提升系统的响应速度，同时LED矩阵灯对未来盲区的投影可以对未来盲区内VRU等障碍物行为产生积极影响，从而显著增加告警规避反应时间，提升盲区预警系统的实质性效果。

本发明实施例利用毫米波雷达和视觉融合的手段实现对盲区检测，相较单纯的基于雷达的盲区预警系统，能显著提高盲区障碍物检测准确度，降低虚警和漏检概率。此外，组合式传感器系统不受天气光照等因素影响，可实现全天候、全工况下盲区鲁棒监测，提升盲区预警系统的场景适用性；通过车外语音蜂鸣器、编程LED投影矩阵灯、频闪灯、车内语音播放器、视频显示器等多种组合式音视频仪器，能同时对驾驶员和盲区内人员产生双向预警，促使双向碰撞规避行为，较单向的针对驾驶员的盲区预警系统而言，能更加有效避免碰撞事故发生；盲区预警系统通过车身姿态、状态等参数基于动力学模型将车身盲区动态地划分为三部分，对三部分盲区类障碍物采取不同灯光照射及语音告警等分类分级式预警策略，相较单一预警策略也能动态全面的反应盲区状况，对未来盲区类的VRU行为产生影响积极引导，能大大降低行人车辆等障碍物闯入盲区的造成的突发性，能进一步降低驾驶员的操纵负担，大幅度提升了预警和避碰行为的反应时间，从更有效的实现盲区安全。

参照图3，本发明实施例还提供了一种车辆盲区防撞预警方法，主要包括以下步骤：盲区目标采集步骤，采集盲区障碍物视频图像流和盲区障碍物雷达点云数据；目标融合计算步骤，基于雷达点云特征确定是否存在障碍物，对视频图像与雷达点云进行时间对齐和空间对齐处理，并对视频图像进行像素分割，将得到的像素块与雷达点云进行聚类匹配，并对像素块进行目标识别，得到候选障碍物目标集；信息提取步骤，提取车辆行车状态信息；分级告警控制步骤，根据车辆自身状态动态调整盲区，根据目标种类和状态确定危险等级，并动态调整分级预警策略生成告警指令；告警步骤，根据告警指令控制告警设备进行盲区信息告警。

进一步，参照图4，目标融合计算步骤包括：障碍物检测步骤，接收各区雷达反射点云数据，基于无障碍物时的雷达点云特征确定各盲区是否存在盲区障碍物；视频流图像化步骤，接收各区摄像头的视频流并进行视频图像化，得到带时间戳信息的图像；时间对齐步骤，将带时间戳的图像和雷达点云数据进行时间对齐，将小于一定时间差阈值的雷达点云数据和视频图像数据作为同一时刻盲区的信息；建立坐标系步骤，建立车身坐标系并获取各区摄像头、雷达在车身坐标系的自身坐标；并且建立雷达成像坐标系和摄像机成像坐标系，并获取反射点相对雷达成像坐标系的坐标以及像素点相对摄像机成像坐标系的坐标；空间对齐步骤，通过旋转平移矩阵，将反射点坐标和像素点坐标转换到车身坐标系，并基于反射点和像素点相对车身的位置关系，将反射点和像素点进行关联；聚类匹配步骤，对视频图像进行像素块分割，并将得到的像素块与雷达点云在空间上进行聚类匹配；构建拓维全参数图像步骤，为分割后的像素块匹配上反射点的速度、距离和方位信息；目标识别步骤，基于训练好的VRU检测神经网络模型和车辆检测神经网络模型对拓维全参数图像中的像素块进行目标识别，对VRU、车辆和可疑移动障碍物取并集得到候选障碍物目标集。

进一步，分级告警控制步骤包括：计算盲区位置步骤，获取当前车辆行车状态信息，并结合车身固有参数动态计算车辆当前时刻盲区大小；并基于车辆动力学模型和当前车辆行车状态信息计算未来时刻车辆位置、姿态及未来时刻盲区位置；计算目标障碍物碰撞时间值步骤，获取候选障碍物目标集，根据进入盲区的障碍物根据其速度、方位、距离及航向动态计算碰撞时间值；预警策略选择步骤，根据碰撞时间阈值和障碍物种类确定危险等级，并根据危险等级确定预警策略。

在一些实施例中，盲区根据车辆行进方向从后到前分为盲区预警区、当前盲区、未来盲区；分级预警策略至少包括以下策略中的一条：当发现盲区内存在候选障碍物时，控制编程LED投影矩阵灯对不同盲区采用不同颜色的灯光照射；根据不同的危险等级，控制语音蜂鸣播报器、频闪灯以及车内语音播报器采用不同速度进行预设音频播放或灯光闪烁；检测到盲区动态障碍物时，控制动态障碍物相对车辆一侧的语音蜂鸣播报器和频闪灯发出告警；检测到盲区障碍物时，控制车内语音播报器播报障碍物类型、方位及距离；检测到盲区障碍物时，控制中央显示器实时呈现车辆当前盲区视频实况。

尽管本文描述了具体实施方案，但是本领域中的普通技术人员将认识到，许多其它修改或另选的实施方案同样处于本公开的范围内。例如，结合特定设备或组件描述的功能和/或处理能力中的任一项可以由任何其它设备或部件来执行。另外，虽然已根据本公开的实施方案描述了各种例示性具体实施和架构，但是本领域中的普通技术人员将认识到，对本文所述的例示性具体实施和架构的许多其它修改也处于本公开的范围内。

上文参考根据示例性实施方案所述的系统、方法、系统和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图中的一个或多个块以及框图和流程图中的块的组合可分别通过执行计算机可执行程序指令来实现。同样，根据一些实施方案，框图和流程图中的一些块可能无需按示出的顺序执行，或者可以无需全部执行。另外，超出框图和流程图中的块所示的那些部件和/或操作以外的附加部件和/或操作可存在于某些实施方案中。

因此，框图和流程图中的块支持用于执行指定功能的装置的组合、用于执行指定功能的元件或步骤的组合以及用于执行指定功能的程序指令装置。还应当理解，框图和流程图中的每个块以及框图和流程图中的块的组合可以由执行特定功能、元件或步骤的专用硬件计算机系统或者专用硬件和计算机指令的组合来实现。

本文所述的程序模块、应用程序等可包括一个或多个软件组件，包括例如软件对象、方法、数据结构等。每个此类软件组件可包括计算机可执行指令，所述计算机可执行指令响应于执行而使本文所述的功能的至少一部分(例如，本文所述的例示性方法的一种或多种操作)被执行。

软件组件可以用各种编程语言中的任一种来编码。一种例示性编程语言可以为低级编程语言，诸如与特定硬件体系结构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件组件可能需要在由硬件架构和/或平台执行之前由汇编程序转换为可执行的机器代码。另一种示例性编程语言可以为更高级的编程语言，其可以跨多种架构移植。包括更高级编程语言的软件组件在执行之前可能需要由解释器或编译器转换为中间表示。编程语言的其它示例包括但不限于宏语言、外壳或命令语言、作业控制语言、脚本语言、数据库查询或搜索语言、或报告编写语言。在一个或多个示例性实施方案中，包含上述编程语言示例中的一者的指令的软件组件可直接由操作系统或其它软件组件执行，而无需首先转换成另一种形式。

软件组件可存储为文件或其它数据存储构造。具有相似类型或相关功能的软件组件可一起存储在诸如特定的目录、文件夹或库中。软件组件可为静态的(例如，预设的或固定的)或动态的(例如，在执行时创建或修改的)。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种车辆盲区防撞预警系统，其特征在于，包括：

盲区目标采集单元，包括至少一个摄像头和至少一个雷达，用于采集盲区障碍物视频图像流和盲区障碍物雷达点云数据；

目标融合计算单元，用于基于所述雷达点云特征确定是否存在障碍物，对视频图像与雷达点云进行时间对齐和空间对齐处理，并对视频图像进行像素分割，将得到的像素块与雷达点云进行聚类匹配，并对像素块进行目标识别，得到候选障碍物目标集；

信息提取单元，包括方向盘转角传感器和车载IMU，用于提取车辆行车状态信息；

分级告警控制单元，用于根据车辆自身状态动态调整盲区，根据目标种类和状态确定危险等级，并动态调整分级预警策略生成告警指令；

告警单元，用于根据告警指令控制告警设备进行盲区信息告警；

其中，所述目标融合计算单元包括：

障碍物检测模块，用于接收各区雷达反射点云数据，基于无障碍物时的雷达点云特征确定各盲区是否存在盲区障碍物；

视频流图像化模块，用于接收各区摄像头的视频流并进行视频图像化，得到带时间戳信息的图像；

时间对齐模块，用于将所述带时间戳的图像和雷达点云数据进行时间对齐，将小于时间差阈值的雷达点云数据和视频图像数据作为同一时刻盲区的信息；

坐标系模块，用于建立车身坐标系并获取各区摄像头、雷达在所述车身坐标系的自身坐标；并且建立雷达成像坐标系和摄像机成像坐标系，并获取反射点相对雷达成像坐标系的坐标以及像素点相对摄像机成像坐标系的坐标；

空间对齐模块，用于通过旋转平移矩阵，将反射点坐标和像素点坐标转换到所述车身坐标系，并基于反射点和像素点相对车身的位置关系，将反射点和像素点进行关联；

聚类匹配模块，用于对视频图像进行像素块分割，并将得到的像素块与雷达点云在空间上进行聚类匹配；

拓维全参数图像模块，用于为分割后的像素块匹配上反射点的速度、距离和方位信息；

目标识别模块，用于基于已训练的VRU检测神经网络模型和车辆检测神经网络模型对拓维全参数图像中的像素块进行目标识别，将车辆、VRU和可疑移动物取并集得到候选障碍物目标集，接着对候选障碍物目标集内的障碍物进行编码、状态参数存储与跟踪，并将所述候选障碍目标集发送至所述分级告警控制单元。

2.根据权利要求1所述的车辆盲区防撞预警系统，其特征在于，所述目标融合计算单元还包括GPU图像处理器和融合计算MCU，用于分拣出盲区内候选障碍物目标，所述候选障碍物目标包括VRU、车辆和可疑移动障碍物。

3.根据权利要求1所述的车辆盲区防撞预警系统，其特征在于，所述分级告警控制单元包括：

盲区位置计算模块，用于获取当前车辆行车状态信息，并结合车身固有参数动态计算车辆当前时刻盲区大小；基于车辆动力学模型和当前车辆行车状态信息计算未来时刻车辆位置、姿态及未来时刻盲区位置；

目标障碍物碰撞时间值模块，用于获取候选障碍物目标集，根据进入盲区的障碍物根据其速度、方位、距离及航向动态计算碰撞时间值；

预警策略模块，用于根据碰撞时间阈值和障碍物种类确定危险等级，并根据危险等级确定预警策略。

4.根据权利要求1所述的车辆盲区防撞预警系统，其特征在于，所述告警单元包括：编程LED投影矩阵灯、语音蜂鸣播报器、车内语音播报器、频闪灯、中央显示器；

所述编程LED投影矩阵灯与所述语音蜂鸣播报器用于对盲区内的道路弱势群体和车辆产生警告和行为引导；

所述频闪灯、所述车内语音播报器以及中央显示器用于对驾驶员进行告警和行为引导；

其中，所述编程LED投影矩阵灯设置在车辆驾驶舱外顶部后方两侧，所述语音蜂鸣播报器设置在两侧后视镜附近，所述频闪灯设置在车辆两侧后视镜上。

5.根据权利要求4所述的车辆盲区防撞预警系统，其特征在于，所述盲区根据车辆行进方向从后到前分为盲区预警区、当前盲区、未来盲区；所述分级预警策略至少包括以下策略中的一条：

当盲区存在候选障碍物时，控制相应盲区内所述编程LED投影矩阵灯采用不同颜色的灯光对该盲区进行照射；

根据不同的危险等级，控制所述语音蜂鸣播报器、频闪灯以及车内语音播报器采用不同速度进行预设音频播放或灯光闪烁；

检测到候选障碍物时，控制动态障碍物所在的车辆一侧的所述语音蜂鸣播报器和所述频闪灯发出告警；

检测到候选障碍物时，控制所述车内语音播报器播报障碍物类型、方位及距离；

检测到候选障碍物时，控制所述中央显示器实时呈现车辆当前盲区视频实况。

6.一种车辆盲区防撞预警方法，其特征在于，包括：

盲区目标采集步骤，采集盲区障碍物视频图像流和盲区障碍物雷达点云数据；

目标融合计算步骤，基于所述雷达点云特征确定是否存在障碍物，对视频图像与雷达点云进行时间对齐和空间对齐处理，并对视频图像进行像素分割，将得到的像素块与雷达点云进行聚类匹配，并对像素块进行目标识别，对VRU、车辆和可疑移动障碍物取并集得到候选障碍物目标集；

信息提取步骤，提取车辆行车状态信息；

分级告警控制步骤，根据车辆自身状态动态调整盲区，根据目标种类和状态确定危险等级，并动态调整分级预警策略生成告警指令；

告警步骤，根据告警指令控制告警设备进行盲区信息告警；

其中，目标融合计算步骤包括：

障碍物检测步骤，接收各区雷达反射点云数据，基于无障碍物时的雷达点云特征确定各盲区是否存在盲区障碍物；

视频流图像化步骤，接收各区摄像头的视频流并进行视频图像化，得到带时间戳信息的图像；

时间对齐步骤，将所述带时间戳的图像和雷达点云数据进行时间对齐，将小于时间差阈值的雷达点云数据和视频图像数据作为同一时刻盲区的信息；

建立坐标系步骤，建立车身坐标系并获取各区摄像头、雷达在所述车身坐标系的自身坐标；并且建立雷达成像坐标系和摄像机成像坐标系，并获取反射点相对雷达成像坐标系的坐标以及像素点相对摄像机成像坐标系的坐标；

空间对齐步骤，通过旋转平移矩阵，将反射点坐标和像素点坐标转换到所述车身坐标系，并基于反射点和像素点相对车身的位置关系，将反射点和像素点进行关联；

聚类匹配步骤，对视频图像进行像素块分割，并将得到的像素块与雷达点云在空间上进行聚类匹配；

构建拓维全参数图像步骤，为分割后的像素块匹配上反射点的速度、距离和方位信息；

目标识别步骤，基于训练好的VRU检测神经网络模型和车辆检测神经网络模型对拓维全参数图像中的像素块进行目标识别，对VRU、车辆和可疑移动障碍物取并集得到候选障碍物目标集，接着对候选障碍物目标集内的障碍物进行编码、状态参数存储与跟踪。

7.根据权利要求6所述的车辆盲区防撞预警方法，其特征在于，所述分级告警控制步骤包括：

计算盲区位置步骤，获取当前车辆行车状态信息，并结合车身固有参数动态计算车辆当前时刻盲区大小；并基于车辆动力学模型和当前车辆行车状态信息计算未来时刻车辆位置、姿态及未来时刻盲区位置；

计算目标障碍物碰撞时间值步骤，获取候选障碍物目标集，根据进入盲区的障碍物根据其速度、方位、距离及航向动态计算碰撞时间值；

预警策略选择步骤，根据碰撞时间阈值和障碍物种类确定危险等级，并根据危险等级确定预警策略。

8.根据权利要求6所述的车辆盲区防撞预警方法，其特征在于，所述盲区根据车辆行进方向从后到前分为盲区预警区、当前盲区、未来盲区；所述分级预警策略至少包括以下策略中的一条：

当发现盲区内存在候选障碍物时，控制对应盲区的编程LED投影矩阵灯对不同盲区采用不同颜色的灯光照射；

根据不同的危险等级，控制语音蜂鸣播报器、频闪灯以及车内语音播报器采用不同速度进行预设音频播放或灯光闪烁；

检测到候选障碍物时，控制动态障碍物所在的车辆一侧的语音蜂鸣播报器和频闪灯发出告警；

检测到候选障碍物时，控制车内语音播报器播报障碍物类型、方位及距离；

检测到候选障碍物时，控制中央显示器实时呈现车辆当前盲区视频实况。

Images