CN110356325B - 一种城市交通客运车辆盲区预警系统 - Google Patents

Abstract

本发明提供了一种城市交通客运车辆盲区预警系统，包括：外界感知单元，安装于所述客运车辆的车身，用于获取停止时或行驶中的客运车辆车身周边区域出现的目标的图像信息和雷达信息；目标检测单元，用于检测该图像信息以获得目标识别结果和目标位置数据，以及用于检测该雷达信息以获得移动目标的位置数据和相对速度；融合计算单元，用于对通过该图像信息获得的数据和通过该雷达信息获得的数据进行交叉验证，即将通过该图像信息获得的目标位置数据与通过该雷达信息获得的移动目标位置数据进行比较，判断是否为同一个目标，并对属于同一个目标的数据进行融合处理，获得融合目标信息；以及告警单元，用于根据该融合目标信息来判断是否启动告警。

Description

一种城市交通客运车辆盲区预警系统

技术领域

本发明涉及机器视觉领域，尤其涉及一种城市交通客运车辆盲区预警系统。

背景技术

越来越多的智能辅助/无人驾驶技术被广泛使用在普通车辆上，但是对于承担特定功能的交通工具，例如城市公共交通车辆（停靠次数频繁，停车启动之时会有多个行人主动靠近，公交专道区域与普通车道区域不同，公交限速与普通车辆限速要求不同等等）因为限定的驾驶要求有诸多不同，需要有针对性的智能驾驶辅助系统来完善该类型车辆的功能。

另外驾驶公交车的司机的视野与驾驶普通车辆的司机相比，前方盲区虽然大大缩小但是对于车身两侧以及车辆后方的盲区却变得更大，在城市人流量较多的区域全天候行驶过程中，尤其在转弯和停车启动情况下需要驾驶员时刻保持高度警觉状态，如果该路段光照条件不够的时候（例如路灯无法照明，清晨或者黄昏时段尚不满足路灯开启条件，极端恶劣天气），这时驾驶人员即使驾驶经验丰富也难免顾此失彼发生危险状况。

公告号为205788788U、名称为一种客运车辆车载用智能安全警示装置的实用新型专利揭示了如下技术方案：该专利主要使用无线移动通信、卫星定位信息对所有在网车辆和道路交通基础设施属性信息进行有效识别，基于网络为驾驶员和车辆提供通讯和避障的，与本专利相比避障防撞的识别类型少很多，比方说该专利对于行人只能靠驾驶员自身判断，对于最容易引发交通危险的目标没有做到识别检测。

公开号为106515728A、名称为一种无人驾驶公交车的防撞避障系统和方法的发明专利申请揭示了如下技术方案：该专利使用了诸多的传感器，包括视觉传感器、陀螺仪、超声波雷达、激光传感器和雷达传感器，整套设备虽然可以完成本发明所涉及的技术但是价格极其昂贵，缺乏量产可能。

发明内容

针对现有技术的上述缺陷，本发明提出了一种城市交通客运车辆盲区预警系统。

本发明的一种城市交通客运车辆盲区预警系统，包括：外界感知单元，包括多个视觉传感器和多个毫米波雷达，安装于所述客运车辆的车身，用于获取停止时或行驶中的客运车辆车身周边区域出现的目标的图像信息和雷达信息；目标检测单元，用于检测所述目标的图像信息以获得目标识别结果和目标位置数据，以及用于检测所述目标的雷达信息以获得移动目标的位置数据和相对速度；融合计算单元，用于对通过所述图像信息获得的数据和通过所述雷达信息获得的数据进行交叉验证，即将通过所述图像信息获得的目标位置数据与通过所述雷达信息的移动目标位置数据进行比较，判断是否为同一个目标，并对属于同一个目标的数据进行融合处理，获得融合目标信息；以及告警单元，用于根据所述融合目标信息计算碰撞时间，并通过将所述碰撞时间与规定阈值进行比较来判断是否启动告警，或者根据目标检测单元检测到的数据来判断是否启动告警。

优选地，所述多个视觉传感器包括：安装在车头位置面向前方、感知视角范围超过180度的第一摄像头；安装在车身后部两侧面、感知距离小于50米、视角小于100度的第二和第三摄像头；所述多个毫米波雷达包括：感知距离超过150米的安装在车头位置面向前方的第一毫米波雷达，感知距离较短的安装在车身两侧的第二和第三毫米波雷达。

优选地，所述客运车辆车身周边区域出现的目标包括机动车、非机动车、行人、车道标线、路面标志、道路指示牌、限速牌和交通指示灯。

优选地，所述目标检测单元使用训练好的深度神经网络对所述图像信息进行识别。

优选地，所述目标检测单元对车辆的识别包括对整个车体的识别以及对单个车轮的识别。

优选地，对于行人的图像信息，所述目标检测单元使用基于人体语义分割的深度神经网络对行人进行识别，所述目标检测单元对行人的识别包括对行人整体的识别以及对各个人体部位的单独识别。

优选地，对于车辆的图像信息，所述目标的识别结果为车辆的类型，所述目标位置数据为车辆的坐标信息，包括在图像坐标系下整个车体的外轮廓点集、2D框信息、3D框信息，单个车轮的外轮廓点集、2D框信息。

优选地，对于行人的图像信息，所述目标的识别结果为行人或各部位，所述目标位置数据为行人坐标信息，包括人体坐标信息或部位坐标信息。

优选地，所述目标检测单元对所述雷达信息进行预处理后获得移动目标在世界坐标系下的坐标点和相对速度，所述预处理包括空目标移除、无效目标去除和静止目标的判断。

优选地，所述融合计算单元进行如下交叉验证：

创建统一的世界坐标系，将由所述图像信息获得的目标位置数据通过投影转换矩阵转换到统一的世界坐标系，将由雷达信息获得的移动目标位置数据通过坐标系转换到统一的世界坐标系，将两者在统一的世界坐标系中的位置进行比较，从而判断是否为同一个目标。

优选地，对于车辆，将由雷达获得的移动目标到本车的距离与由图像信息检测为车辆的目标到本车的距离进行比较，在规定差值内的目标被认为是同一个目标。

优选地，对于行人，将由雷达获得的移动目标到本车的距离与由图像信息检测为行人或部位的目标到本车的距离进行比较，在规定差值内的目标被认为是同一个目标。

优选地，对于车辆，如果没有识别到车轮，则生成的融合目标信息包括：来自雷达的本车到所述移动目标中心点的距离、来自雷达的本车与所述移动目标的相对速度、以及来自图像的目标车辆的类型信息；如果检测到车轮，则生成的融合目标信息包括：来自图像的所述车辆前后轮触地点连线与本车前进方向直线交汇点坐标即碰撞点信息、来自图像的所述目标车辆的类型信息、以及来自雷达的本车与所述移动目标的相对速度。

优选地，对于行人，如果没有识别到足部，则生成的融合目标信息包括：来自图像的人体目标类型、来自雷达的所述移动目标中心点到本车前后轮触地点的距离、以及来自雷达的所述移动目标与本车的相对速度；如果识别到足部，则生成的融合目标信息包括：来自图像的人体目标类型、来自图像的所述人体目标的足部触地点到本车前后轮触地点的距离、以及来自雷达的所述移动目标与本车的相对速度。

优选地，所述告警的类型包括车辆碰撞告警、车辆行人碰撞告警、车道偏移告警和超速告警。

本发明具有如下有益效果：

本发明针对大型客运车司机视觉盲区跟普通车辆驾驶员不一样的问题，设计了独特的摄像头安装位置，确保在驾驶员看不到的各种场景下只要有人或车出现就会检测到，且在算法设计针对人体检测上添加了人体语义分割，对于只能看到部分的人体也能识别，大大提高了行人检测的鲁棒性和准确性，针对车辆检测上添加的车轮检测可以大大提高车辆测距的准确性。另外，本发明同时采用毫米波雷达与摄像头，这两类传感器虽各有测量缺陷，但本发明的目标检测和融合计算单元将两者的数据互相校验，取其长处而去其短处，同时提高了所有目标的类型判断准确度、速度计算准确度和距离计算准确度。另外，本发明仅仅使用了视觉传感器和雷达这两种外界感知单元来实现数据采集，简化了整个系统。

本发明结合了多种目标检测，能够进行空中地面全方位全类别目标检测及跟踪，尤其是专用公交车车道线、专用公交车限速牌、专用公交车停靠站等城市公共交通专用目标的识别，完全满足了城市交通客运车辆的驾驶安全需求。

附图说明

图1是本发明的一个实施例的城市交通客运车辆盲区预警系统的结构示意图。

图2是本发明的一个实施例的车身侧面视区示意图。

图3是本发明的一个实施例的车体前视视角重叠示意图。

具体实施方式

下面通过实施例对本发明作进一步说明，其目的仅在于更好地理解本发明的研究内容而非限制本发明的保护范围。

如图1所示为本发明的一个实施例的城市交通客运车辆盲区预警系统的结构示意图，该系统包括：外界感知单元1、目标检测单元2、融合计算单元3和告警单元5。

外界感知单元1，包括多个视觉传感器和多个毫米波雷达，安装于所述客运车辆的车身，用于获取停止时或行驶中的客运车辆车身周边区域出现的目标的图像信息和雷达信息。所述客运车辆车身周边区域出现的目标为道路可行驶区域内的所有可视目标，包括机动车、非机动车、行人、车道标线、路面标志、道路指示牌、限速牌和交通指示灯。

本发明中，采用三个视觉传感器和三个毫米波雷达。三个视觉传感器为：安装在车头位置面向前方、感知视角范围超过180度的第一摄像头；安装在车身后部两侧面、感知距离小于50米、视角小于100度的第二和第三摄像头。三个毫米波雷达为：感知距离超过150米的安装在车头位置面向前方的第一毫米波雷达，感知距离较短的安装在车身两侧的第二和第三毫米波雷达。

该组摄像头（第一至第三摄像头）也用于在前期数据采集阶段在将来要使用的城市道路上广泛采集道路数据，在公交车可以行驶的时间段内尽可能各类天气情况下均进行采集。该组毫米波雷达在摄像头模组采集图像信息的同时也同步采集路面雷达信息，为融合计算单元提供数据。

本发明如此设置外界感知单元，是在于发明人充分考察了绝大多数公交车碰撞事故的原因，驾驶员的视觉盲区是最大原因。该原因又可以分为主动盲区和被动盲区，主动盲区是指由于驾驶员自身原因看不到而形成的盲区，被动是指由于其他车辆或者障碍物导致的驾驶员看不到而形成的盲区。本发明的第一、二、三摄像机即用于解决上述两种盲区问题的。

如图2所示，斜线区域是后视镜可视区域，点阵区域是左右后摄像头可视区域，斜线和点阵重叠区域是后视镜和左右后摄像头都可视的区域。车辆自身的后视镜可视区域是无法看到前车门以及车头转角区域的，当想要上车的人全部进入车厢范围之后前车门关闭，此时若有行人从车尾向车头方向移动，驾驶员是无法发现的。而本发明的第二和第三摄像头的安装位置正好可以和后视镜视线区域形成互补，可以预防这一类主动盲区碰撞事件。

如图3所示，驾驶员向前看的时候，紧贴车头下有2米左右的视觉盲区，如果儿童或者有蹲/卧的成年人出现在这个区域是无法被驾驶员发现的，有一种最危险且发生率较高的情况是同时有多辆车辆（公交车停在非左右两端车道内）停在人行横道前等候绿灯，行人如果在信号灯变换的最后几秒开始抢跑，只有左右两端的车辆的驾驶员可以看到，而中间车道的驾驶员是无法看到的，此时行人抢跑的加速度跟车辆启动的加速度都很大，极易发生行人碰撞事件。本发明的第一摄像机视角横向超过180度，纵向超过150度，感知范围可以覆盖与车头平行以及紧贴车头的所有视觉盲区，可以很好的预防类似“鬼探头”一类的被动盲区碰撞事件。

目标检测单元2，用于检测所述目标的图像信息以获得目标识别结果和目标位置数据，以及用于检测所述目标的雷达信息以获得移动目标的位置数据和相对速度。

所述目标检测单元2使用训练好的深度神经网络对所述图像信息进行识别。对于车辆的图像信息，所述目标的识别结果为车辆的类型，所述目标位置数据包括在图像坐标系下整个车体的外轮廓点集、2D框信息、3D框信息，单个车轮的外轮廓点集、2D框信息。对于车辆识别来说，本发明在对目标做整体识别的同时也对目标的单个部分做进一步识别。本发明单独对机动车的车轮做检测识别，在返回车辆整体外轮廓点坐标集合的同时也返回车轮的轮廓点。

对于行人的图像信息，所述目标的识别结果为行人或各部位，所述目标位置数据包括人体目标坐标信息。对于行人的图像信息，所述目标检测单元2使用基于人体语义分割的深度神经网络进行识别，包括对行人整体识别以及对人体部位的单独识别。

对于行人识别来说，本发明除了对行人整体做识别检测，也加强了对人体部位的单独识别，这里使用了基于人体语义分割的深度神经网络来完成。因为公交车在到站停靠的过程中最容易发生行人擦碰事件，本发明在自车两侧安装的视像头属于感知角度横向和纵向都较大，对于紧贴车身出现的行人（互有遮挡或者只有部分可见）都可以进行识别。

本发明对行人识别的特点在于人体语义分割方法的使用，该方法是将人体按照需求分割成不同的部分单独加强网络训练，提高网络对于人体的识别能力，例如可以将人体分割成头部、手部、上肢、躯干上部、躯干下部、下肢、脚部，在需求更精细的情况下可以进一步将上肢细分为大臂、小臂，下肢细分为大腿、小腿。如此在前期做深度神经网络训练的时候，需要给网络提供丰富且大量的人体部位数据，尽可能在多类光照强度、各种不同背景、各色服装鞋帽、头部包含各类遮挡、多样人体姿态、疏密不同情况下各类人群的采集数据。通过使用基于人体语义分割的深度神经网络，可以大大提高对行人的识别准确性，极大地降低了误检和漏检的比率。

所述目标检测单元2对所述雷达信息进行预处理后获得移动目标在世界坐标系下的坐标点和相对速度，所述预处理包括空目标移除、无效目标去除和静止目标的判断。

具体地，对于毫米波雷达的原始数据，第一步是空目标的移除：检测车身CAN相应的数据存储，如果该存储位为特定数值，即表示该信道没有检测到目标信号，此时即可以将对应的时间戳内的雷达目标视为空目标去除；第二步是无效目标的去除：其与有效目标的主要区别是目标数据出现时间极短且参数跳跃性比较大，不符合车辆的行驶特征，因此可以通过分析相邻采样点之间的车辆数据变化情况实现无效干扰目标的识别，对无效目标进行去除；第三步是静止目标的判定：如果本车采集到的自车行驶速度与目标车辆和本车之间的相对速度的绝对值相等，且本车运动方向与检测到的目标的相对速度的方向相反，测可以判定该目标为静止目标。

融合计算单元3，用于对通过所述图像信息获得的数据和通过所述雷达信息获得的数据进行交叉验证，即将通过所述图像信息获得的目标位置数据与通过所述雷达信息的移动目标位置数据进行比较，判断是否为同一个目标，并对属于同一个目标的数据进行融合处理，获得融合目标信息。

所述融合计算单元3进行如下交叉验证：

创建统一的世界坐标系，将由所述图像信息获得的目标位置数据通过投影转换矩阵转换到统一的世界坐标系，将由雷达信息获得的移动目标位置数据通过坐标系转换到统一的世界坐标系，将两者在统一的世界坐标系中的位置进行比较，从而判断是否为同一个目标。

对于车辆，将由雷达获得的移动目标到本车的距离与由图像信息检测为车辆的目标到本车的距离进行比较，在规定差值内的目标被认为是同一个目标。

对于行人，将由雷达获得的移动目标到本车的距离与由图像信息检测为行人的目标到本车的距离进行比较，在规定差值内的目标被认为是同一个目标。

对于车辆，如果没有识别到轮胎，则生成的融合目标信息包括：来自雷达的本车到所述移动目标中心点的距离；来自雷达的本车道所述移动目标的相对速度；以及来自图像的所述目标车辆的类型信息；如果识别到轮胎，则生成的融合目标信息包括：来自图像的所述车辆前后轮触地点连线与本车前进方向直线交汇点坐标即碰撞点信息；来自图像的所述目标车辆的类型信息；以及来自雷达的本车与所述移动目标的相对速度。

对于行人，如果没有识别到足部，则生成的融合目标信息包括：来自图像的人体目标类型；来自雷达的所述移动目标中心点到本车前后轮触地点的距离；以及来自雷达的所述移动目标与本车的相对速度；如果识别到足部，则生成的融合目标信息包括：来自图像的人体目标类型；来自图像的所述人体目标的足部触地点到本车前后轮触地点的距离；以及来自雷达的所述移动目标与本车的相对速度。

如上所述，本发明使用了图像识别结果和雷达目标的相互校验，源于雷达对于目标速度和距离的精准度较高，而图像对于目标类型和大小精准度较高，因此本发明将这两者的优点结合起来使用。因为对金属物体反射效果很好，所以首先通过目标的回波强度预先对机动车、金属隔离栏、非机动车等进行粗分类，将粗分类的结果转换到世界坐标系后跟视觉传感器得到的目标进行互相验证后得到确切的目标类型，对于类似隔离栏/墙、柱子/杆子等静止目标可以将图像2D框/外轮廓点坐标转换到世界坐标系之后与雷达的静止目标坐标互相比较，可以得到更加精准的目标位置，同时对于移动的经过交叉验证的目标可以使用雷达检测到的速度传递到告警单元，对于无法交叉验证的目标使用图像位移计算的速度传递到告警单元。

安装在本车两侧的毫米波角雷达对于侧方快速靠近的目标可以直接返回精准的径向速度和径向加速度，在光照不够、对方车辆没有开灯导致的图像目标不够稳定的情况下可以很好地弥补视觉传感器的缺陷。

告警单元5，用于根据所述融合目标信息计算碰撞时间，并通过将所述碰撞时间与规定阈值进行比较来判断是否启动告警，或者根据目标检测单元检测到的数据来判断是否启动告警。所述告警的类型包括车辆碰撞告警、车辆行人碰撞告警、车道偏移告警和超速告警。

本发明还具有显示单元4，其是将融合计算单元的结果在车载监控界面直接进行显示的单元，有助于驾驶员查看，该结果类型包括但不限于：各类车道线显示，各类路面标志显示、可行驶区域显示，各类交通指示灯显示，各类交通指示牌显示，各类隔离栏显示等。

本发明还具有存储单元6，在没有告警信息出现的时候保存显示单元显示的结果，在告警信息出现时除了保存显示结果也会保存告警信息、传感器原始采集数据、传感器融合结果数据等。

实施例一：

本实施例对城市交通客运车辆碰撞告警进行详细说明。

首先，目标检测单元同时对摄像头返回的图像和雷达返回的数据做目标检测。针对图像数据，使用训练好的深度神经网络对图像中出现的各类车辆（包含机动和非机动车）返回识别结果和该目标的坐标信息（该坐标信息包含且不限于在图像坐标系下整个车体的外轮廓点集、2D框信息、3D框信息，单个车轮的外轮廓点集、2D框信息）。针对雷达数据，通过预处理算法（包含空目标移除、无效目标去除和静止目标的判断）之后可以得到移动目标的在世界坐标系下坐标点和相对速度。

其次，融合计算单元对目标检测单元传出的两类传感器数据进行交叉验证并融合。图像车辆目标坐标信息通过投影变换转换到统一的世界坐标系下可以得到：

1、本车到该车前/后轮触地点的精确距离；

2、该车前后轮触地点连线与本车前进方向直线交汇点坐标（即碰撞点）；

3、限定帧内前后轮触地点连线的中点坐标位移距离与采集限定帧的时间比值即该车当下的时速。

由雷达获得的移动目标信息通过坐标系转换到统一的世界坐标系下可以得到：

1、本车到该移动目标中心点的距离；

2、本车与该移动目标的相对时速。

交叉验证步骤为，将由雷达获得的移动目标到本车的距离与图像中检测为车辆的目标到本车的距离作比较，在限定差值之内的目标可被认定为同一个目标。对于该同一目标，若该目标没有轮胎检测信息则新生成的融合目标信息包含：

1、来自雷达的本车到该移动目标中心点的距离；

2、来自雷达的本车与该移动目标的相对时速；

3、来自图像的该目标车辆类型信息；

若该目标有轮胎检测信息则新生成的融合目标信息包含：

1、来自图像的该车前后轮触地点连线与本车前进方向直线交汇点坐标（即碰撞点）信息；

2、来自图像的该目标车辆类型信息；

3、来自雷达的本车与该移动目标的相对时速；

最后告警单元对于融合单元传出的相对距离除以相对时速得到碰撞时间T，与限定阈值进行比较判断是否触发告警，当碰撞时间在阈值以下越小，预警的等级也相应越来越高。

实施例二：

本实施例对城市交通客运车辆行人碰撞告警进行详细说明。

首先，目标检测单元同时对摄像头返回的图像和雷达返回的数据做目标检测。针对图像数据，使用训练好的深度神经网络对图像中出现的所有人体进行目标识别，本专利的特别点在于除了对行人整体做识别检测，也加强了对人体部位的单独识别，这里使用了基于人体语义分割的深度神经网络来完成，因为公交车在到站停靠的过程中最容易发生行人擦碰事件，本发明在自车两侧安装的视像头属于感知角度横向和纵向都较大，对于紧贴车身出现的行人（互有遮挡或者只有部分可见）都可以进行识别。

本发明对行人识别的特点在于人体语义分割方法的使用，该方法是将人体按照需求分割成不同的部分单独加强网络训练，提高网络对于人体的识别能力，例如可以将人体分割成头部、手部、上肢、躯干上部、躯干下部、下肢、脚部，在需求更精细的情况下可以进一步将上肢细分为大臂、小臂，下肢细分为大腿、小腿。

针对雷达数据，通过预处理算法（包含空目标移除、无效目标去除和静止目标的判断）之后可以得到移动目标的在世界坐标系下坐标点和相对速度。

其次，融合计算单元对目标检测单元传出的两类传感器数据进行交叉验证并融合。图像人体目标坐标信息通过投影变换转换到统一的世界坐标系下可以得到：

1、行人足部到本车前后轮触地点的距离；

2、在限定帧内行人与本车的相对时速。

由雷达获得的移动目标信息通过坐标系转换到统一的世界坐标系下可以得到：

1、本车到该移动目标中心点的距离；

2、本车与该移动目标的相对时速。

交叉验证步骤为，将由雷达获得的移动目标到本车的距离与图像中检测为行人或部位的目标到本车的距离作比较，在限定差值之内的目标可被认定为同一个目标。对于该同一目标，若该人体目标无法看到足部，那么新生成的融合目标信息包含：

1、来自图像的人体目标类型；

2、来自雷达的该移动目标中心点到本车前后轮触地点的距离；

3、来自雷达的该移动目标与本车的相对速度。

若该人体目标有足部识别结果，那么新生成的融合目标信息包含：

1、来自图像的人体目标类型；

2、来自图像的该人体目标足部触地点到本车前后轮触地点的距离；

3、来自雷达的该移动目标与本车的相对速度。

最后，告警单元同时计算该人体目标与前轮的碰撞时间T1和该人体目标与后轮的碰撞时间T2（碰撞时间为目标到本车前后轮距离与相对速度的比值），取T1和T2之间更小的值与限定阈值进行比较来判断是否触发告警。在车辆速度为零的状态（即车辆启动状态）行人碰撞预警也会一直处于待命状态。

实施例三：

本实施例对车道偏离告警进行进一步说明。车道偏离告警中，目标检测单元使用深度神经网络检测得到车道线外轮廓点集（包含本车车道内左右车道线和紧邻本车车道的左右车道的车道线）。融合计算单元中，该点集通过投影变换到统一的世界坐标系之后通过拟合二次曲线可以得到所有车道线的曲线方程，与通过拟合本车前进方向的直线方程联立，可求解得到碰撞点坐标，该坐标到本车四个轮胎的触地点坐标可以计算得到相对距离。告警单元中，该距离除以当前车速，即可算出压线时间T，四个时间T中选择最小的值Tmin。当该Tmin小于规定值或者反复波动，将启动车道偏离告警。

实施例四：

本实施例对超速告警进行进一步说明。超速告警中，目标检测单元检测得到地面限速标志、交通指示灯信息、交通限速牌信息、人行横道线信息等。告警单元对于检测到数字的限速信息将直接跟自车当前车速作对比，一旦超过限速则启动超速告警；对于人行横道或者交通指示灯信息，则根据实际情况（是否正在转向、是否是禁行含义等）结合自身当前车速判断是否启动超速告警。

显然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围。

Claims (10)

1.一种城市交通客运车辆盲区预警系统，其特征在于，包括：

外界感知单元，包括多个视觉传感器和多个毫米波雷达，安装于所述客运车辆的车身，用于获取停止时或行驶中的客运车辆车身周边区域出现的目标的图像信息和雷达信息，所述目标包括行人；

目标检测单元，使用训练好的深度神经网络检测所述目标的图像信息以获得目标识别结果和目标位置数据，以及使用训练好的深度神经网络检测所述目标的雷达信息以获得移动目标的位置数据和相对速度；所述目标检测单元使用基于人体语义分割的深度神经网络对行人进行识别，所述目标检测单元对行人的识别包括对行人整体的识别以及对各个人体部位的单独识别，对于行人的图像信息，所述目标的识别结果为行人和各部位，所述部位包括足部，所述目标位置数据为行人坐标信息，包括人体坐标信息和部位坐标信息，所述部位坐标信息包括足部触地点坐标信息；

融合计算单元，用于对通过所述图像信息获得的数据和通过所述雷达信息获得的数据进行交叉验证，即将通过所述图像信息获得的目标位置数据与通过所述雷达信息的移动目标位置数据进行比较，判断是否为同一个目标，并对属于同一个目标的数据进行融合处理，获得融合目标信息；以及

告警单元，用于根据所述融合目标信息计算碰撞时间，并通过将所述碰撞时间与规定阈值进行比较来判断是否启动告警，或者根据目标检测单元检测到的数据来判断是否启动告警，

所述多个视觉传感器包括：安装在车头位置面向车辆前方、感知视角范围超过180度的第一摄像头；安装在车身后部两侧面、感知距离小于50米、视角小于100度的第二和第三摄像头，所述第二和第三摄像头的感知范围包括车身两侧从车后轮至车前门和车头转角区域；所述多个毫米波雷达包括：感知距离超过150米的安装在车头位置面向车辆前方的第一毫米波雷达，感知距离较短的安装在车身两侧的第二和第三毫米波雷达，

对于行人，如果没有识别到足部，则生成的融合目标信息包括：来自图像的人体目标类型、来自雷达的移动目标中心点到本车前后轮触地点的距离、以及来自雷达的所述移动目标与本车的相对速度；如果识别到足部，则生成的融合目标信息包括：来自图像的人体目标类型、来自图像的所述人体目标的足部触地点到本车前后轮触地点的距离、以及来自雷达的所述移动目标与本车的相对速度。

2.根据权利要求1所述的系统，其特征在于，所述客运车辆车身周边区域出现的目标还包括机动车、非机动车、车道标线、路面标志、道路指示牌、限速牌和交通指示灯。

3.根据权利要求2所述的系统，其特征在于，所述目标检测单元对车辆的识别包括对整个车体的识别以及对单个车轮的识别。

4.根据权利要求3所述的系统，其特征在于，对于车辆的图像信息，所述目标的识别结果为车辆的类型，所述目标位置数据为车辆的坐标信息，包括在图像坐标系下整个车体的外轮廓点集、2D框信息、3D框信息，单个车轮的外轮廓点集、2D框信息。

5.根据权利要求1所述的系统，其特征在于，所述目标检测单元对所述雷达信息进行预处理后获得移动目标在世界坐标系下的坐标点和相对速度，所述预处理包括空目标移除、无效目标去除和静止目标的判断。

6.根据权利要求1所述的系统，其特征在于，所述融合计算单元进行如下交叉验证：

创建统一的世界坐标系，将由所述图像信息获得的目标位置数据通过投影转换矩阵转换到统一的世界坐标系，将由雷达信息获得的移动目标位置数据通过坐标系转换到统一的世界坐标系，将两者在统一的世界坐标系中的位置进行比较，从而判断是否为同一个目标。

7.根据权利要求6所述的系统，其特征在于，对于车辆，将由雷达获得的移动目标到本车的距离与由图像信息检测为车辆的目标到本车的距离进行比较，在规定差值内的目标被认为是同一个目标。

8.根据权利要求6所述的系统，其特征在于，对于行人，将由雷达获得的移动目标到本车的距离与由图像信息检测为行人或部位的目标到本车的距离进行比较，在规定差值内的目标被认为是同一个目标。

9.根据权利要求6所述的系统，其特征在于，对于车辆，如果没有识别到车轮，则生成的融合目标信息包括：来自雷达的本车到所述移动目标中心点的距离、来自雷达的本车与所述移动目标的相对速度、以及来自图像的目标车辆的类型信息；如果检测到车轮，则生成的融合目标信息包括：来自图像的所述车辆前后轮触地点连线与本车前进方向直线交汇点坐标即碰撞点信息、来自图像的所述目标车辆的类型信息、以及来自雷达的本车与所述移动目标的相对速度。

10.根据权利要求1所述的系统，其特征在于，所述告警的类型包括车辆碰撞告警、车辆行人碰撞告警、车道偏移告警和超速告警。

Images