CN218949048U - 一种垃圾清运车智能盲区行人检测及预警装置 - Google Patents

Abstract

本实用新型公开了垃圾清运车辅助作业领域内的一种垃圾清运车智能盲区行人检测及预警装置，包括设置在摄像头组和雷达组，摄像头组和雷达组与感知数据融合处理器相连，感知数据融合处理器分别与显示器和报警器相连；利用摄像头组和雷达组的结合来感知车身盲区的行人信息，并将数据传递给感知数据融合处理器进行处理，将综合数据在显示器上显示，同时通过报警器发出警报，提醒有行人处于车辆盲区，驾驶员需要注意，实现垃圾清运车作业所有可能盲区内行人闯入的实时监测，克服了因为作业区域较大，后方视野较差等不利因素所带来的潜在风险，并采用感知数据融合技术，克服单摄像头感知局限性，保证了行人检测结果的稳定性与有效性。

Description

一种垃圾清运车智能盲区行人检测及预警装置

技术领域

本实用新型涉及垃圾清运车辅助作业领域内的智能盲区行人检测及预警装置。

背景技术

垃圾清运作业一直是城市环卫工作的重要过程，但是分布在城市中的大量中小型垃圾中转站作业环境狭窄，作业过程往往需要多人共同参与，从业人员存在安全隐患。目前垃圾清运作业主要依靠各种自动化或半自动化垃圾清运车完成，尤其是车身可卸式垃圾清运车使用得最多，但由于大型垃圾清运车盲区较多，并且驾驶员在操作车辆时注意力很容易被分散，无法实时关注车辆周围状况，极易忽略闯入危险区域的行人，对行人的生命安全构成威胁。因此，对于车身可卸式垃圾车而言，急需一种车辆盲区内行人检测设备，提醒车辆驾驶员以及行人注意危险，同时提高作业效率。

实用新型内容

本实用新型的目的是提供一种垃圾清运车智能盲区行人检测及预警装置，解决现有技术存在盲区覆盖不全，预警效果不理想等问题。

为实现上述目的，本实用新型还提供了一种垃圾清运车智能盲区行人检测及预警装置，包括摄像头组和雷达组，摄像头组和雷达组与感知数据融合处理器相连，感知数据融合处理器分别与显示器和报警器相连。

与现有技术相比，本实用新型的有益效果在于，利用摄像头组和雷达组的结合来感知车身盲区的行人信息，并将数据传递给感知数据融合处理器进行处理，将综合数据在显示器上显示，同时通过报警器发出警报，提醒有行人处于车辆盲区，驾驶员需要注意，实现垃圾清运车作业所有可能盲区内行人闯入的实时监测，克服了因为作业区域较大，后方视野较差等不利因素所带来的潜在风险，并采用感知数据融合技术，克服单摄像头感知局限性，保证了行人检测结果的稳定性与有效性。

作为本实用新型的进一步改进，摄像头组包括一个远焦距摄像头、两个广角摄像头，远焦距摄像头设置在车头的顶部，广角摄像头分别设置在车头的两个后视镜下侧。

这样车顶远焦距摄像头通过长焦镜头，在垃圾转运车卸垃圾箱的过程中获取车后较远范围内的视频感知数据，车旁广角摄像头固定在车头的后视镜下侧，获取车两侧视频感知数据，进而能够实时传输盲区视频图像。

作为本实用新型的进一步改进，雷达组前毫米波雷达和后毫米波雷达，前毫米波雷达安装在车头的前端，后毫米波雷达安装在车身的后端。

这样通过前后毫米波雷达一方面感知在可能危险区域内是否有行人存在，另一方面感知目标行人当前的属性，包括行人移动的矢量速度、加速度、当前位置三个主要变量，以此划分闯入行人的危险紧迫程度，对应发出不同等级的预警信息。

作为本实用新型的进一步改进，前毫米波雷达横向探测角度为150度，纵向探测角度为30度；这样可以更好地进行车后侧或车后侧与垃圾箱之间的视觉盲区行人闯入检测。

作为本实用新型的进一步改进，后毫米波雷达横向探测角度为90度，纵向探测角度为30度；这样可以更好地进行车前侧的视觉盲区行人闯入检测。

作为本实用新型的进一步改进，前毫米波雷达布置在车头前防撞梁之内，后毫米波雷达布置在车身尾滑轮以内；这样可以保护雷达不易受到碰撞剐蹭而损坏。

附图说明

图1为本实用新型的原理图。

图2是本实用新型的安装结构示意图。

图3是本实用新型技术流程图。

其中，1垃圾箱，2液压挂钩，3车身，4远焦距摄像头，5车头，6后毫米波雷达，7广角摄像头，8前毫米波雷达。

具体实施方式

下面结合附图对本实用新型进一步说明：

如图1-2所示一种垃圾清运车智能盲区行人检测及预警装置，包括摄像头组和雷达组，摄像头组和雷达组与感知数据融合处理器相连，感知数据融合处理器分别与显示器和报警器相连；摄像头组包括一个远焦距摄像头4、两个广角摄像头7，远焦距摄像头4设置在车头5的顶部，广角摄像头7分别设置在车头5的两个后视镜下侧。

雷达组前毫米波雷达8和后毫米波雷达6，前毫米波雷达8安装在车头5的前端，后毫米波雷达6安装在车身3的后端；前毫米波雷达8横向探测角度为150度，纵向探测角度为30度；后毫米波雷达6横向探测角度为90度，纵向探测角度为30度；前毫米波雷达8布置在车头5前防撞梁之内，后毫米波雷达6布置在车身3尾滑轮以内。

本实用新型中，垃圾车主体包括车头5以及车身3，车身3上有液压挂钩2，液压挂钩2具有两个操作自由度，即主臂伸缩x，与主臂旋转y,这两个操作自由度在垃圾箱1装卸过程中是操作员的主要动作来源，针对上述动作来源，确定危险区域主要在于车头5两侧以及车辆纵向位置。由于箱体挂钩往往相对较小，操作员在装卸垃圾箱1的同时，需精准停车或者不断挪动车辆位置来对准挂钩，这将极易导致驾驶员注意力不集中，无法时刻关注视野盲区内是否闯入行人，由此种工作特点决定，在作业时需要具备驾驶员与行人双方的危险预警模块。

针对此种车厢可卸式垃圾清运车作业特点及盲区分析，前后车辆盲区分别选用前毫米波雷达8及后毫米波雷达6进行行人闯入状况监测。其中，行人闯入状况主要包括两个部分：一方面是在可能危险区域内是否有行人存在，另一方面是目标行人当前的属性，包括行人移动的矢量速度、加速度、当前位置三个主要变量，以此划分闯入行人的危险紧迫程度，对应发出不同等级的预警信息。

其中，按照垃圾清运车的工作特点及不同传感属性，采用内置前后毫米波雷达6完成行人闯入检测，一方面，后毫米波雷达6横向探测角度为90度，纵向探测角度为30度，雷达支架采用俯仰角度可调结构，通过螺栓、焊接等连接方式布置在车辆尾滑轮以内，进行车后侧或车后侧与垃圾箱1之间的视觉盲区行人闯入检测；另一方面，前毫米波雷达8横向探测角度为150度，纵向探测角度为30度，支架同样采用俯仰角度可调结构，通过螺栓、焊接等连接方式布置在车辆前防撞梁之内。

在上述毫米波雷达之外，还配套了三个摄像头，分别包括远焦距摄像头4，广角摄像头7，安装在车头5顶部的远焦距摄像头4通过长焦镜头，在垃圾转运车卸垃圾箱1的过程中获取车后较远范围内的视频感知数据，该摄像头安装在车顶导流罩内或其他固定区域，广角摄像头7固定在车头5的后视镜下侧，获取车两侧视频感知数据。

采用摄像头及毫米波雷达组合式的传感器结构，获得的异构感知数据融合处理结果，主动探测垃圾清运车盲区内的行人闯入状态及计算其危险度，利用图像、声音、震动等人机交互方式对驾驶员或操纵员进行预警，降低了垃圾清运车作业时针对行人的潜在危险。

应当注意的是，不限于某种特定型号的垃圾清运车，该装置为针对不同垃圾清运车的车厢挂载作业，上述传感器结构的角度及具体安装位置需要实车调试，但其布局具有普适性。

上述毫米波雷达实时获取目标点位置、矢量速度及其加速度，利用边缘计算架构方法，前后毫米波雷达6将上述三种行人属性通过CAN总线输入感知数据融合处理器，三个摄像头将视频感知数据通过视频线输入感知数据融合处理器，利用YOLO系列等深度学习方法训练行人检测模型，以此对回传的视频流进行处理。

利用多源异构数据融合技术，依照判断权重，综合判断得出行人闯入检测结果，利用车载显示器界面及声音、震动等人机交互方式进行危险预警，依据闯入行人的状态属性不同，系统输出的危险预警信号类型及其强弱也各有不同。

综合所述，对测得信息进行数据融合具体为：首先搭建数据融合型，然后利用毫米波雷达坐标系、世界坐标系、摄像头坐标系、图像坐标系和像素坐标系之间的转换关系对采集到的信息进行坐标转换，根据像素坐标系、图像坐标系、摄像头坐标系和世界坐标系之间的关系，将摄像头采集图像在像素坐标系中的坐标转换为在世界坐标系中的坐标表示，根据毫米波雷达坐标系和世界坐标系坐标之间的关系，将毫米波雷达检测的目标遮挡物在毫米波雷达坐标系中的坐标转换为在世界坐标系中的坐标表示，并利用相机内外参数标定方法实现数据空间融合，最后通过统一采样频率实现数据时间融合；通过信息数据融合得出较为精确的遮挡物位置信息，由此确定较为精确的盲区边界。

由图3可知：首先进行摄像头和毫米波雷达的工作状态自检，确保每个摄像头和毫米波雷达都处在正确的工作状态，若自检未通过，则在驾驶室的显示器中显示异常代码，待用户确认后关机；

若自检通过，则开始接收各个摄像头和毫米波雷达的感知数据，分类处理，按照感知权重进行融合处理，融合处理结果首先判断是否有行人闯入车周危险区，若没有的话，则继续进行下一轮感知数据融合计算；其中，由摄像头和毫米波雷达获取并检测到的行人闯入判断数据集合A可表示为：

A＝＜φ,λ,T＞

其中，φ为车辆盲区的边界阈值，λ为检测行人中心点的像素坐标，T为当前时间戳，一次获得行人在盲区内的存在特征向量。

若有行人闯入感知区域，则继续计算传入行人的状态数据，包括行人在某一段极小时间内的速度、加速度、位置等状态数据，同时利用卡尔曼滤波器进行低通滤波，滤除高频噪音，保证感知结果的稳定以及相对准确性，由毫米波雷达获取的行人属性集合B可以表示为：

B＝＜α,β,P,T＞

其中，α为当前行人在平行与地面的二维坐标系下的矢量加速度值，β为当前行人在平行于地面的二维坐标系下的矢量速度值，P为当前行人在平行于地面的二维坐标系下的相对位置坐标，T为当前时间戳，以此获得行人在盲区内运动特征向量。

利用上述行人状态数据，开发针对垃圾清运作业的闯入行人危险度计算模型，同时预留调参窗口，以求适配不同型号的垃圾清运车型。

基于上述危险度运算结果，判断是否存在危险已经计算危险等级，若无危险，则判断关机标志位对否为关机状态，若为关机标志，则关闭系统，若为开机标志，则继续获取感知数据；

若判断有危险，则报警器按照危险度等级及传入行人的状态数据进行报警，报警利用安装在车身3周围的喇叭、灯条等装置完成人机交互。

同时，显示器在控制界面中会显示闯入行人的状态，依靠分布在驾驶室两侧的震动马达以及立体声音响来搭建人及交互接口，保证驾驶员在多重感官刺激下能够在短时间内迅速判断行人所在的大致位置。

本实用新型利用摄像头和毫米波雷达的双重布局方案，能够实现垃圾清运车作业所有可能盲区内行人闯入的实时监测，克服了因为作业区域较大，后方视野较差等不利因素所带来的潜在风险；采用多感知数据融合技术，克服单传感器感知局限性，保证了行人检测结果的稳定性与有效性；采用立体声音、灯光警示、震动马达等声、光、触多重感官刺激建立人机接口，保证了人机交流的通畅性与高效性。

本实用新型不局限于上述实施例，在本公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本实用新型的保护范围内。

Claims (6)

1.一种垃圾清运车智能盲区行人检测及预警装置，其特征在于，包括摄像头组和雷达组，摄像头组和雷达组与感知数据融合处理器相连，感知数据融合处理器分别与显示器和报警器相连。

2.根据权利要求1所述的一种垃圾清运车智能盲区行人检测及预警装置，其特征在于：摄像头组包括一个远焦距摄像头、两个广角摄像头，远焦距摄像头设置在车头的顶部，广角摄像头分别设置在车头的两个后视镜下侧。

3.根据权利要求2所述的一种垃圾清运车智能盲区行人检测及预警装置，其特征在于：雷达组前毫米波雷达和后毫米波雷达，前毫米波雷达安装在车头的前端，后毫米波雷达安装在车身的后端。

4.根据权利要求3所述的一种垃圾清运车智能盲区行人检测及预警装置，其特征在于：前毫米波雷达横向探测角度为150度，纵向探测角度为30度。

5.根据权利要求4所述的一种垃圾清运车智能盲区行人检测及预警装置，其特征在于：后毫米波雷达横向探测角度为90度，纵向探测角度为30度。

6.根据权利要求5所述的一种垃圾清运车智能盲区行人检测及预警装置，其特征在于：前毫米波雷达布置在车头前防撞梁之内，后毫米波雷达布置在车身尾滑轮以内。

Images