CN111038390A - 一种基于多传感器融合的大车盲区监测装置 - Google Patents

Abstract

一种基于多传感器融合的大车盲区监测装置。其组成包括:汽车，所述的汽车的左侧后端设置左高清摄像头，所述的汽车的右侧后端设置右高清摄像头，所述的汽车的前端设置前毫米波雷达，所述的汽车的左侧尾端设置左超声波雷达，所述的汽车的右侧尾端设置右超声波雷达，所述的汽车的尾端设置后毫米波雷达。本发明用于用于大型车辆(大、中型货车、客车、公交车、工程车辆等)。

Description

一种基于多传感器融合的大车盲区监测装置

技术领域：

本发明涉及一种基于多传感器融合的大车盲区监测装置。

背景技术：

所谓汽车盲区，是指驾驶员位于正常驾驶座位置，其视线被车体遮挡而不能直接观察到的那部分区域。简言之，驾驶员坐在驾驶座上驾驶的时候，观察不到的地方就叫汽车盲区。对于大型车辆而言，由于车辆普遍较长，驾驶员座位更高，盲区相对家用轿车更长，在车转弯或者倒车时，对于进入盲区的车辆或行人驾驶员将无法及时发现，造成交通事故隐患。

大型车辆在行驶过程中，左侧盲区主要集中在尾部，由于驾驶室在左侧，驾驶员可以通过车窗看到左侧路况，相对而言比较安全，但是右侧和正后方十分危险，由于后视镜能看到的范围十分有限，一般行人或者小型车辆经过，驾驶员也很难发现，所以这两个区域也是事故发生率最高的地方。还有由于大型车辆的车身座位设计较高，坐在驾驶室的司机很难看到车头下方的情况，该区域基本属于半盲区。路过此区域的行人货车很难发现，当信号灯变为绿灯，车辆突然启动，留给行人逃避的时间基本都很短，就很容易酿成事故。

此外，由于大型车辆车身较高，结构复杂，基本都是依靠前轮来转向，所以在转弯时存在较大的“轮迹差”，其后轮与前轮的行驶轮迹不在一条弧线上。也就是说，前轮可以绕过道路的某一物体，而后轮却绕不过去。由于内轮差的存在，车辆转弯时，前、后车轮的运动轨迹不重合。在行车中如果只注意前轮能够通过而忘记内轮差，就可能造成后内轮驶出路面或与其他物体碰撞的事故。

目前市场上已有的大型车辆盲区监测方案，普遍使用了超声波达方案和车辆环视方案。

安装在车尾部的超声波，可以捕捉车辆后方较近物体，普遍用于倒车辅助。超声波雷达是一种短距离测距雷达，并且测量范围较小，在家用乘用车上使用，可进行停车辅助，但用于大型车辆上，则只选择性安装于车辆局部位置，受数量和性能限制，只有在特定较近位置才能探测到盲区内的物体，而且，无法分辨物体的形态和具体信息，不能及时有效的探测到危险的存在。

环视方案多用于车辆停靠，并且需要驾驶员目视监视设备，而且环视范围仅仅在车的较近范围，对移动速度较快、随意性较大的车辆和行人，难以及时预见。另外，环视更注重停车辅助，在极低速下，只需要借助视觉显示设备代替后视镜观察车辆轨迹即可。但在车辆拐弯或者变道过程中，驾驶员不能仅依靠视觉设备而不观察路况，这样更容易引发危险。

超声波雷达是一种短距离测距雷达，并且测量范围较小难以用于距离较长的大型车辆上；

超声波雷达受数量和性能限制，无法大量安装；

环视方案多用于车辆停靠，仅仅在车的较近范围有效；

对移动速度较快、随意性较大的车辆和行人，环视设备难以及时预见；

环视更注重停车辅助，在极低速下表现良好，不能应用于行驶中的车辆。

发明内容：

本发明的目的是提供一种能够提示司机车周围盲区的情况，主动提示危险情况的发生的一种基于多传感器融合的大车盲区监测装置。

上述的目的通过以下的技术方案实现：

一种基于多传感器融合的大车盲区监测装置，其组成包括:汽车，所述的汽车的左侧后端设置左高清摄像头，所述的汽车的右侧后端设置右高清摄像头，所述的汽车的前端设置前毫米波雷达，所述的汽车的左侧尾端设置左超声波雷达，所述的汽车的右侧尾端设置右超声波雷达，所述的汽车的尾端设置后毫米波雷达。

所述的一种基于多传感器融合的大车盲区监测装置，所述的左高清摄像头、所述的右高清摄像头均连接智能算法控制器，所述的左高清摄像头、所述的右高清摄像头均通过万向轴连接在所述的汽车上。

所述的一种基于多传感器融合的大车盲区监测装置，所述的智能算法控制器通过电源线和控制线连接声光报警器，并且使用整车控制总现获得车辆的方向盘和速度信息。当智能算法控制器判断驾驶员低速启动、倒车、低速泊车、操作方向盘准备转向时，如果发现有车进入盲区的危险距离的车辆或人，主动触发声光报警，提醒司机有潜在的危险情况，并指示哪一盲区出现了危险情况；危险解除后，报警消失。

所述的一种基于多传感器融合的大车盲区监测装置，智能算法控制器采用的图像识别算法经过：图像获取、图像处理、候选区域确定、目标图像确定、目标图像跟踪五个步骤；

图像获取通过高清晰度的高清摄像头实现，它将视觉原始数据生成后进行ISP图像信号处理；在图像信号处理阶段，将对图片进行白平衡、降噪、锐化、ROI、灰度变换、畸形矫正处理，突出图像的色度和边缘特征；处理好的图像用来进行候选区域确定，候选区域即初步识别、筛选出来的可能存在目标图像的区域，这些图像符合目标图像的某些特征，但可能存在误判的的情况，它的目的是不遗漏可能的目标图像；下一步利用一些基于机器学习训练出的神经网络模型对候选区域进行最后的目标图像确定，进一步缩小目标范围；在识别出目标图像的基础上，利用卡尔曼滤波器算法对移动的目标图像进行跟踪，实时对目标进行距离、速度、位置的测算。

有益效果：

1.本发明是一种依靠视觉、雷达、红外热成像仪（高清摄像头）等多传感器融合的大型车辆盲区监测设备，能在车辆转弯或变道时，对进入盲区内可能发生碰撞、刮蹭的车辆、行人、物体进行识别，并通过声光报警的方式通知司机。

本发明使用多个或多种传感器安装在车辆的两侧、前方、后方，对车的前向、后向、侧向的来车、人、物体进行监视，车辆周围360°范围内将不存在任何检测盲区，比仅仅超声波测量范围扩大了数倍，增加了安全距离。

本发明依靠视觉、雷达等传感器融合的方法，侦测大型车辆盲区中的车辆(含机动车，自行车)、人、物体；能够在车辆启动、倒车、泊车、转弯或变道时根据盲区内潜在的危险情况提示驾驶员。

本发明能够单独使用种类传感器，也能够使用多种类传感器融合；各个传感器均可替换、拓扑其他种类传感器，如视觉类设备、雷达类设备、红外类设备、热传感设备、激光类设备、夜视设备等；适用范围广，材料易得。

附图说明：

附图1是本产品的结构示意图。

附图2是本产品的图像识别流程图。

附图3是本产品的硬件原理框图。

具体实施方式：

下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例1：

一种基于多传感器融合的大车盲区监测装置，其组成包括:汽车，所述的汽车的左侧后端设置左高清摄像头，所述的汽车的右侧后端设置右高清摄像头，所述的汽车的前端设置前毫米波雷达，所述的汽车的左侧尾端设置左超声波雷达，所述的汽车的右侧尾端设置右超声波雷达，所述的汽车的尾端设置后毫米波雷达。

实施例2：

实施例1所述的一种基于多传感器融合的大车盲区监测装置，所述的左高清摄像头、所述的右高清摄像头均连接智能算法控制器，所述的左高清摄像头、所述的右高清摄像头均通过万向轴连接在所述的汽车上。

实施例3：

实施例2所述的一种基于多传感器融合的大车盲区监测装置，所述的智能算法控制器通过电源线和控制线连接声光报警器，并且使用整车控制总现获得车辆的方向盘和速度信息。当智能算法控制器判断驾驶员低速启动、倒车、低速泊车、操作方向盘准备转向时，如果发现有车进入盲区的危险距离的车辆或人，主动触发声光报警，提醒司机有潜在的危险情况，并指示哪一盲区出现了危险情况；危险解除后，报警消失。

实施例4：

实施例3所述的一种基于多传感器融合的大车盲区监测装置，智能算法控制器采用的图像识别算法经过：图像获取、图像处理、候选区域确定、目标图像确定、目标图像跟踪五个步骤；

图像获取通过高清晰度的高清摄像头实现，它将视觉原始数据生成后进行ISP(ImageSignal Processor)图像信号处理；在图像信号处理阶段，将对图片进行白平衡、降噪、锐化、ROI、灰度变换、畸形矫正处理，突出图像的色度和边缘特征；处理好的图像用来进行候选区域确定，候选区域即初步识别、筛选出来的可能存在目标图像的区域，这些图像符合目标图像的某些特征，但可能存在误判的的情况，它的目的是不遗漏可能的目标图像；下一步利用一些基于机器学习训练出的神经网络模型对候选区域进行最后的目标图像确定，进一步缩小目标范围；在识别出目标图像的基础上，利用卡尔曼滤波器(Kalman Filter)算法对移动的目标图像进行跟踪，实时对目标进行距离、速度、位置的测算。

实施例5：

上述实施例所述的一种基于多传感器融合的大车盲区监测装置，设备的核心控制器、智能算法控制器（MPU(微处理单元)芯片）将应用各种针对不同传感器的算法，高效的识别视觉数据中车辆、人、物，并计算车辆、人、物的实时距离，而独立使用超声波或环视，不能让驾驶员脱离人为主动监测。环视方案需要驾驶员目光长时间保持观看屏幕，引发行进过程中的驾驶危险；超声波雷达监测范围和距离有限，均不能达到主动预防的效果，且不能应用于行车全过程。设备采用转弯触发，声光报警，在车辆前行、倒车、入位、转弯或变道时，及时提示司机车周围盲区的情况，主动提示危险情况的发生。

如附图1中所示，车两侧分别放置后视高清摄像头，连接到负责视觉处理的智能算法控制器设备，监测车辆左、右两侧盲区。摄像头采用星光级sensor和广角镜头，使其能在极低照度下，依然能够捕获到宽视角高质量视觉数据。摄像头可安装于车辆后视镜下方，也可以是车辆两侧不发生遮挡的任意位置，摄像头机械连接部件选用万向轴或其他可调节角度设计，可在安装后调整视角以监测车后侧方最大可视范围。在摄像头附近集成红外LED或其他照明器件，以在极低照度下，补充光源。在摄像头附近还将集成感光原件，当照度低时，设备自动开启照明功能，当照度正常时，主动关闭。高清摄像头同样可换为毫米波雷达或激光雷达等设备。

视觉数据帧通过数据线传输至智能算法控制器，在智能算法控制器中，通过高效视觉算法对视觉数据帧图像进行分析，找到图像中行人、机动车辆、自行车、摩托车等并进行跟踪。在高帧率下，每一帧图像数据都会进行高效计算，确保结果的实时性，并同时推算各个可能和车门进行碰撞的潜在目标和车辆的距离和速度，并拟定一个距离和速度的安全阈值，当没有潜在目标的距离或速度超出安全阈值时，智能算法控制器认为此时开启车门是安全的，否则认为不安全。

车辆的前、后方各放置一个毫米波雷达，以监测前向、后向盲区中的车辆、人和物体。毫米波雷达数据将传输入智能算法控制器并使用算法处理，以实时监测处于前、后盲区的障碍物情况，在倒车、泊车和车辆启动时，用于探查前、后盲区是否有潜在的碰撞、刮蹭危险。毫米波雷达可换为超声波雷达、激光雷达或视觉摄像头等传感设备。

车辆驾驶室的两侧分别放置毫米波雷达，以监测距离车前两侧盲区较近处的车辆或人，特别是车启动、低速转向、泊车时，由于车辆驾驶室较高，驾驶员不能观测到驾驶室左右的完整情况时，所有接近驾驶室左右的车、人或物体都能被监测到。超声波雷达也可替换为毫米波雷达、激光雷达和视觉摄像头等。

实施例6：

上述实施例所述的一种基于多传感器融合的大车盲区监测装置，如附图3所示，本发明的核心器件是一款汽车级的MPU(微处理单元)芯片，它具有强大的图像处理、识别能力，对大数据运算具有专用的IP硬件部件支持，并具有丰富的外设接口，用于处理输入输出数据。附图1的最右侧是两个视觉捕获设备，即高清摄像头，分置在车辆的两侧。摄像头传输的视觉数据、雷达数据均通过专用的传输转换芯片，转换为板级总现数据输入进MPU。

将视觉数据进行图像识别流程的处理，雷达信号进行相关的算法处理。DRAM和FLASH模块用来存储MPU的临时数据和执行代码。CAN总线接口模块（基于MC33901芯片的Can信号接口模块）用于接入整车总线获取转向信息，并根据图像识别结果，在盲区中存在可能发生碰撞隐患的人或车辆时，控制声光报警装置对驾驶员报警。

实施例7：

上述实施例所述的一种基于多传感器融合的大车盲区监测装置，是一种依靠多传感器融合的大型车辆盲区监测设备，能在车辆启动、倒车、泊车、转弯或变道时，对进入盲区内可能发生碰撞、刮蹭的车辆和行人进行识别，并通过声光报警的方式通知司机。本发明使用摄像头、毫米波雷达、超声波雷达等传感器安装在车辆的各个部分，对车的各向来车、人、自行车、摩托车进行监视。设备的核心控制器将应用对应各传感器的算法，高效的识别视觉数据中车辆、人和物体，并计算车辆、人和物体到车的实时距离。设备采用转弯触发，声光报警，在车辆启动、倒车、泊车、转弯或变道时，及时提示司机车两侧盲区的情况，避免驾驶危险，解决了大型车辆在各种工况下驾驶员难以监测到车辆盲区的问题。设备的安装简单，并且在使用中便于维护。

实施例8：

上述实施例所述的一种基于多传感器融合的大车盲区监测装置，视觉传感器（高清摄像头）可以是任意分辨率、尺寸、性能的视觉传感器，可以多个甚至一个，可安装于车体任意位置。视频可拼接或不拼接使用，可以使用包括车后方视频图像数据。补光照明可使用任意光源；视频传输方式可以使用无线传输，车载智能算法控制器可以独立也可以集成入其他设备，并安装任意可以实现测速的设备或直接接入车载控制器获取。图像识别功能可使用任何流程及算法，硬件设计可使用任意设计方法。视觉传感器可更换为激光雷达、毫米波雷达、超声波雷达、热成像设备、红外类设备等各种类的设备。毫米波雷达可更换为视觉传感器、热成像设备、红外类设备、激光雷达、超声波雷达等。超声波雷达可更换为传感器、热成像设备、红外类设备、激光雷达、超声波雷达等。各种传感器可单独使用，也可多种配合使用，都可以达到监测效果。声光报警可以使用包括语音播报、蜂鸣、屏幕显示等多种方式。

Claims (4)

1.一种基于多传感器融合的大车盲区监测装置，其组成包括:汽车，其特征是: 所述的汽车的左侧后端设置左高清摄像头，所述的汽车的右侧后端设置右高清摄像头，所述的汽车的前端设置前毫米波雷达，所述的汽车的左侧尾端设置左超声波雷达，所述的汽车的右侧尾端设置右超声波雷达，所述的汽车的尾端设置后毫米波雷达。

2.根据权利要求1所述的一种基于多传感器融合的大车盲区监测装置，其特征是: 所述的左高清摄像头、所述的右高清摄像头均连接智能算法控制器，所述的左高清摄像头、所述的右高清摄像头均通过万向轴连接在所述的汽车上。

3.根据权利要求2所述的一种基于多传感器融合的大车盲区监测装置，其特征是: 所述的智能算法控制器通过电源线和控制线连接声光报警器，并且使用整车控制总现获得车辆的方向盘和速度信息，当智能算法控制器判断驾驶员低速启动、倒车、低速泊车、操作方向盘准备转向时，如果发现有车进入盲区的危险距离的车辆或人，主动触发声光报警，提醒司机有潜在的危险情况，并指示哪一盲区出现了危险情况；危险解除后，报警消失。

4.根据权利要求3所述的一种基于多传感器融合的大车盲区监测装置，其特征是: 智能算法控制器采用的图像识别算法经过：图像获取、图像信号处理、候选区域确定、目标图像确定、目标图像跟踪五个步骤；图像获取通过高清晰度的高清摄像头实现，它将视觉原始数据生成后进行ISP图像信号处理；在图像信号处理阶段，将对图片进行白平衡、降噪、锐化、ROI、灰度变换、畸形矫正处理，突出图像的色度和边缘特征；处理好的图像用来进行候选区域确定，候选区域即初步识别、筛选出来的可能存在目标图像的区域，这些图像符合目标图像的某些特征，但可能存在误判的的情况，它的目的是不遗漏可能的目标图像；下一步利用一些基于机器学习训练出的神经网络模型对候选区域进行最后的目标图像确定，进一步缩小目标范围；在识别出目标图像的基础上，利用卡尔曼滤波器算法对移动的目标图像进行跟踪，实时对目标进行距离、速度、位置的测算。

Images