CN114495059A - 一种环卫清扫车路面识别方法及装置 - Google Patents

一种环卫清扫车路面识别方法及装置 Download PDF

Info

Publication number
CN114495059A
CN114495059A CN202210078978.4A CN202210078978A CN114495059A CN 114495059 A CN114495059 A CN 114495059A CN 202210078978 A CN202210078978 A CN 202210078978A CN 114495059 A CN114495059 A CN 114495059A
Authority
CN
China
Prior art keywords
point cloud
cloud data
detection
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210078978.4A
Other languages
English (en)
Inventor
刘广通
刘煜
刘佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yuwan Technology Co ltd
Original Assignee
Shanghai Yuwan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yuwan Technology Co ltd filed Critical Shanghai Yuwan Technology Co ltd
Priority to CN202210078978.4A priority Critical patent/CN114495059A/zh
Publication of CN114495059A publication Critical patent/CN114495059A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01H—STREET CLEANING; CLEANING OF PERMANENT WAYS; CLEANING BEACHES; DISPERSING OR PREVENTING FOG IN GENERAL CLEANING STREET OR RAILWAY FURNITURE OR TUNNEL WALLS
    • E01H1/00—Removing undesirable matter from roads or like surfaces, with or without moistening of the surface
    • E01H1/10—Hydraulically loosening or dislodging undesirable matter; Raking or scraping apparatus ; Removing liquids or semi-liquids e.g., absorbing water, sliding-off mud
    • E01H1/101—Hydraulic loosening or dislodging, combined or not with mechanical loosening or dislodging, e.g. road washing machines with brushes or wipers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种环卫清扫车路面识别方法及装置，涉及车载路面识别领域。所述方法，包括：获取周围环境的雷达点云数据和视频图像；雷达点云数据包括第一类点云数据；第一类点云数据为分辨率大于设定值的激光雷达采集的点云数据；视频图像包括第一类图像；第一类图像为采用红外夜视摄像头采集的图像；对雷达点云数据进行目标检测，得到第一检测信息；对视频图像进行目标检测，得到第二检测信息；将第一检测信息和第二检测信息融合，得到多源融合信息；多源融合信息包括周围环境中目标的位置、速度、轮廓和类别。本发明能提高路面识别的准确性。

Description

一种环卫清扫车路面识别方法及装置
技术领域
本发明涉及车载路面识别领域，特别是涉及一种环卫清扫车路面识别方法及装置。
背景技术
目前，大多数无人驾驶环卫清扫车的路面识别系统，都无法在光照条件较差时，具有较好的识别效果，甚至于不能正常工作。另外，即使在光照条件较好时，对于小物体、路面坑洞、凸起等检测，也不能具有较好的检测效果。因此，如何提高环卫清扫车路面识别的准确性成为目前亟待解决的问题。
发明内容
基于此，本发明实施例提供一种环卫清扫车路面识别方法及装置，以提高路面识别的准确性。
为实现上述目的，本发明提供了如下方案：
一种环卫清扫车路面识别方法，包括：
获取周围环境的雷达点云数据和视频图像；所述雷达点云数据包括第一类点云数据；所述第一类点云数据为分辨率大于设定值的激光雷达采集的点云数据；所述视频图像包括第一类图像；所述第一类图像为采用红外夜视摄像头采集的图像；
对所述雷达点云数据进行目标检测，得到第一检测信息；
对所述视频图像进行目标检测，得到第二检测信息；
将所述第一检测信息和所述第二检测信息融合，得到多源融合信息；所述多源融合信息包括周围环境中目标的位置、速度、轮廓和类别。
可选的，在所述将所述第一检测信息和所述第二检测信息融合，得到多源融合信息之后，还包括：
根据所述多源融合信息判断前方存在的目标的类别；
若前方存在垃圾类的目标，则根据前方道路高度计算清扫机构离地高度以及根据所述多源融合信息中垃圾类的目标对应的信息计算清扫机构功率，并根据所述清扫机构离地高度和所述清扫机构功率完成清扫操作；
若前方存在烟雾类的目标，则增大当前的喷水功率，并根据增大后的喷水功率完成喷水操作；
若前方不存在烟雾类的目标，则减小当前的喷水功率；
若前方存在障碍物类的目标，则根据所述多源融合信息计算是否需要避障，并根据计算结果确定环卫清扫车是否要绕行。
可选的，所述雷达点云数据还包括第二类点云数据；所述第二类点云数据包括分辨率小于设定值的左侧激光雷达采集的点云数据和分辨率小于设定值的右侧激光雷达采集的点云数据；
所述对所述雷达点云数据进行目标检测，得到第一检测信息，具体包括：
采用最近邻时间同步法对所述第一类点云数据和所述第二类点云数据进行筛选，并对筛选后的点云数据进行拼接，采用点云目标检测算法对拼接后的点云数据进行目标检测，得到点云检测结果；
采用地面检测算法对所述第一类点云数据进行目标检测，得到地面检测结果；所述第一检测信息包括点云检测结果和所述地面检测结果。
可选的，所述视频图像还包括第二类图像；所述第二类图像为采用第二摄像头采集的图像；
所述对所述视频图像进行目标检测，得到第二检测信息，具体包括：
采用深度学习算法分别对所述第一类图像和所述第二类图像进行目标检测，得到第二检测信息。
可选的，所述点云目标检测算法为PointPillars算法；所述地面检测算法包括基于栅格的坡度检测算法。
本发明还提供了一种环卫清扫车路面识别装置，包括：设置在环卫清扫车上的点云数据采集装置、图像采集装置和控制器；所述点云数据采集装置和所述图像采集装置均与所述控制器连接；
所述点云数据采集装置至少包括分辨率大于设定值的激光雷达；所述图像采集装置至少包括红外夜视摄像头；
所述点云数据采集装置用于获取周围环境的雷达点云数据；
所述图像采集装置用于获取周围环境的视频图像；
所述控制器用于：
对所述雷达点云数据进行目标检测，得到第一检测信息；
对所述视频图像进行目标检测，得到第二检测信息；
将所述第一检测信息和所述第二检测信息融合，得到多源融合信息；所述多源融合信息包括周围环境中目标的位置、速度、轮廓和类别。
可选的，所述点云数据采集装置，还包括分辨率小于设定值的左侧激光雷达和分辨率小于设定值的右侧激光雷达；所述雷达点云数据包括分辨率大于设定值的激光雷达、分辨率小于设定值的左侧激光雷达和分辨率小于设定值的右侧激光雷达采集到的点云数据。
可选的，所述图像采集装置，还包括第二摄像头；所述视频图像包括所述红外夜视摄像头采集到的图像和所述第二摄像头采集到的图像。
可选的，分辨率大于设定值的激光雷达为分辨率大于设定值的固态激光雷达或高线束机械式激光雷达；分辨率小于设定值的左侧激光雷达和分辨率小于设定值的右侧激光雷达均为分辨率小于设定值的机械旋转式激光雷达。
可选的，所述控制器还用于：
根据所述多源融合信息判断前方存在的目标的类别；
若前方存在垃圾类的目标，则根据前方道路高度计算清扫机构离地高度以及根据所述多源融合信息中垃圾类的目标对应的信息计算清扫机构功率，并根据所述清扫机构离地高度和所述清扫机构功率完成清扫操作；
若前方存在烟雾类的目标，则增大当前的喷水功率，并根据增大后的喷水功率完成喷水操作；
若前方不存在烟雾类的目标，则减小当前的喷水功率；
若前方存在障碍物类的目标，则根据所述多源融合信息计算是否需要避障，并根据计算结果确定环卫清扫车是否要绕行。
与现有技术相比，本发明的有益效果是：
本发明实施例提出了一种环卫清扫车路面识别方法及装置，获取周围环境的雷达点云数据和视频图像，其中，雷达点云数据包括分辨率大于设定值的激光雷达采集的点云数据，视频图像包括采用红外夜视摄像头采集的图像；对雷达点云数据进行目标检测，得到第一检测信息；对视频图像进行目标检测，得到第二检测信息；将第一检测信息和第二检测信息融合，得到多源融合信息。本发明获取的雷达点云数据包括分辨率大于设定值的激光雷达采集的点云数据，高分辨率的激光雷达能探测产生密集的点云，对于微小物体也可以产生足够多的点云，供后续检测；获取的视频图像包括采用红外夜视摄像头采集的红外图像，在光照条件较差时，依然获取到周围环境的红外图像，供后续检测，因此，本发明能提高路面识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的环卫清扫车路面识别方法的流程图；
图2为本发明实施例提供的栅格划分示意图；
图3为本发明实施例提供的地面检测算法流程图；
图4为本发明实施例提供的环卫清扫车路面识别装置的结构框图；
图5为本发明实施例提供的环卫清扫车路面识别方法具体实现过程示意图；
图6为本发明实施例提供的环卫清扫车路面识别装置在环卫清扫车上的安装位置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例提供的环卫清扫车路面识别方法的流程图。
参见图1，本实施例的环卫清扫车路面识别方法，包括：
步骤101：获取周围环境的雷达点云数据和视频图像；所述雷达点云数据包括第一类点云数据；所述第一类点云数据为分辨率大于设定值的激光雷达采集的点云数据；所述视频图像包括第一类图像；所述第一类图像为采用红外夜视摄像头采集的图像。
步骤102：对所述雷达点云数据进行目标检测，得到第一检测信息。
步骤103：对所述视频图像进行目标检测，得到第二检测信息。
步骤104：将所述第一检测信息和所述第二检测信息融合，得到多源融合信息；所述多源融合信息包括周围环境中目标的位置、速度、轮廓和类别。
由于在没有额外的传感器下，环卫清扫车不能根据周围环境的脏乱程度，自动调整喷水量和扫盘速度，造成周围较脏时清扫不干净，烟尘大；或者周围不脏时，仍以大功率、大喷水量工作，造成车载油、电、水等资源的浪费，因此，在步骤104之后，还包括步骤105。步骤105：根据所述多源融合信息自动控制环卫清扫车实现清扫操作和喷水操作。具体为：
根据所述多源融合信息判断前方存在的目标的类别。
若前方存在垃圾类的目标，则根据前方道路高度计算清扫机构离地高度以及根据所述多源融合信息中垃圾类的目标对应的信息计算清扫机构功率，并根据所述清扫机构离地高度和所述清扫机构功率完成清扫操作。
若前方存在烟雾类的目标，则增大当前的喷水功率，并根据增大后的喷水功率完成喷水操作。
若前方不存在烟雾类的目标，则减小当前的喷水功率。
若前方存在障碍物类的目标，则根据所述多源融合信息计算是否需要避障，并根据计算结果确定环卫清扫车是否要绕行。
作为一种可选的实施方式，步骤101中的所述雷达点云数据还包括第二类点云数据；所述第二类点云数据包括分辨率小于设定值的左侧激光雷达采集的点云数据和分辨率小于设定值的右侧激光雷达采集的点云数据。其中，分辨率大于设定值的激光雷达为分辨率大于设定值的固态激光雷达(固态高分辨率激光雷达)或高线束机械式激光雷达；分辨率小于设定值的左侧激光雷达和分辨率小于设定值的右侧激光雷达均为分辨率小于设定值的机械式激光雷达。步骤101中的所述视频图像还包括第二类图像；所述第二类图像为采用第二摄像头采集的图像；第二摄像头为常规高清摄像头。
分辨率大于设定值的固态激光雷达为高分辨率固态激光雷达，该高分辨率固态激光雷达具有非常高的分辨率，探测产生密集点云，对于微小物体也可以产生足够多的点云，供后续检测。对车前扫刷至车前方20～30m的地面产生精细探测，同时也可以对周围非地面物体产生点云。
红外夜视摄像头为高清的视觉传感器(夜视高清摄像头)，其主要通过红外线成像，在光照较差、能见度低、甚至漆黑的夜晚，依然能对周围环境清晰成像。红外夜视摄像头主要是辅助检测儿童、猫狗等小物体，避免发生倾轧事故。同时，在光照条件差、有雨雾等环境中，当常规高清摄像头和激光雷达失效后，依然能进行周围环境检测，支持行驶一定时间，提升了系统安全性。
分辨率小于设定值的左侧激光雷达采集的点云数据和分辨率小于设定值的右侧激光雷达，探测的分辨率一般较为稀疏，主要探测前、左、右方位的环境，其中左侧激光雷达探测前方和左侧方的环境，右侧激光雷达探测前方和右侧方的环境。
常规高清摄像头在光照良好的情况下，能对周围环境清晰成像，可以检测红绿灯等微小物体，以及人、车等交通参与者和障碍物。
上述描述的前、后、左、右方向，均是相对于环卫清扫车的前进方向。上述涉及到的激光雷达产生的点云，都不受光照条件影响。
步骤102，具体包括：
1)采用最近邻时间同步法对所述第一类点云数据和所述第二类点云数据进行筛选，将筛选后的点云数据经过坐标系转换后直接拼接在一起。之后，采用点云目标检测算法对拼接后的点云数据进行目标检测，得到点云检测结果。目前有多种算法可以完成上述目标检测功能，本实施例采用的所述点云目标检测算法为PointPillars算法。
2)采用地面检测算法对所述第一类点云数据进行目标检测，得到地面检测结果；所述第一检测信息包括点云检测结果和所述地面检测结果。所述地面检测算法包括基于栅格的坡度检测算法。具体的：
单独对第一类点云数据，使用基于栅格的坡度检测算法和基于栅格的高度滤波算法，进行地面检测。由于第一类点云数据是采用固态激光雷达采集的，固态雷达点云非常密集，可以检测到几厘米高的石头、井盖、路沿等，从障碍物高度，辅以目标检测的类别信息，判断是否需要抬升扫盘行驶，还是需要绕行，避免损坏扫盘，以及垃圾遗漏、未清扫。
图2所示为栅格划分示意图，其中VCS为车辆坐标系缩写，车辆坐标系原点为前轴中心，VCS X轴为车辆前进方向，X轴为车辆的纵向对称轴，Y轴为车辆前轴中心，Z轴垂直于水平面朝上。栅格的边分别与VCS的两个坐标轴平行，栅格采用等边长的正方形。
地面检测算法流程如图3所示，主要是将点云投影到栅格内，并从VCS的原点，使用先验值作为地面高度，并开始遍历网格，计算有效地面点。其中，遍历过程包括行遍历和列遍历，行遍历过程：沿该行向两侧方向，分别查找最近非空栅格，以最近非空栅格为终点；根据起点和终点计算坡度，判断坡度是否在阈值范围内；若是，则将栅格内最低点确定为有效地面点，并以终点作为新的起点，按照规则查找下一个终点，进行下次行遍历；若否，则使用默认坡度，并根据默认坡度计算有效地面点，并将跨过的空间网格插值填充地面点，再以终点作为新的起点，按照规则查找下一个终点，进行下次行遍历。当行遍历完成后，进行列遍历。列遍历过程：以每列第一行的栅格为起点，沿列遍历方向，查找下一个非空栅格，以最近非空栅格为终点；根据起点和终点计算坡度，判断坡度是否在阈值范围内；若是，则将栅格内最低点确定为有效地面点，并以终点作为新的起点，按照规则查找下一个终点，进行下次列遍历；若否，则使用默认坡度，并根据默认坡度计算有效地面点，并将跨过的空间网格插值填充地面点，再以终点作为新的起点，按照规则查找下一个终点，进行下次列遍历。当行遍历和列遍历完成后，即遍历完每个栅格，再根据栅格内有效地面点和最高点，计算栅格相对地面高度(栅格相对于地面的最大高度)。由于车辆坐标系原点为前轴中心，则可得到车辆坐标系原点处的地面高度的先验值为前轴车轮半径。
经过地面检测算法，可以将每个栅格内的地面高度和栅格相对于地面的高度计算出来。当接收到下一帧点云数据后，将上一帧的栅格中心点，经过坐标系转换，重新投影到新一帧车辆位姿下划分的栅格中，并同时将上一帧栅格的非地面点相对于该栅格地面点的最大高度，缓存在新投影到的栅格中，之后进行高度滤波算法。每一帧时间戳的车辆在世界坐标系下的位姿，可由定位算法提供，坐标转换计算公式为
Figure BDA0003485304520000081
其中，下标new代表新一帧数据信息，下标last表示上一帧数据信息；x、y、z分别为车辆坐标系下x轴、y轴、z轴的坐标；R为车辆坐标系旋转至世界坐标系的旋转矩阵，T为车辆坐标系在世界坐标系的平移向量，R和T结合可以表示车辆坐标系在世界坐标系下的位姿；
Figure BDA0003485304520000082
为上一帧某个点，在上一帧车辆坐标系下的坐标；
Figure BDA0003485304520000083
为上一帧点云时刻，车辆在世界坐标系下的位姿；
Figure BDA0003485304520000084
为新一帧点云时刻，车辆在世界坐标系下的位姿的逆；
Figure BDA0003485304520000085
为上一帧某个点，转换至新时刻下车辆坐标系中的位置。
之后，通过带权重的窗口滤波算法，对每个栅格内的最大相对地面高度进行滤波，公式为：
Figure BDA0003485304520000086
其中n为缓存数据的窗口长度，αi为窗口内第i帧的栅格相对地面高度的权重，并且有
Figure BDA0003485304520000087
步骤103，具体包括：
采用深度学习算法分别对所述第一类图像和所述第二类图像进行目标检测，得到第二检测信息。具体的：
采用YoloV5算法，分别检测所述第一类图像和所述第二类图像，实现对前方一定距离内，落叶、瓶子等垃圾和人、小动物、车等目标的检测。后续可通过检测到的垃圾面积，计算是否需要加大扫盘转速，加大清扫力度。红外夜视摄像头和常规摄像头的成像性能各有优势，所以检测类别会有差异。
步骤104，具体包括：
多源信息融合，主要是将多个传感器检测到的目标信息(一般会检测到物体的位置和姿态、轮廓、类别、和类别置信度)进行融合，得到更接近于真值的值。主要分为四部分：
1)前后帧之间检测到的目标关联
根据设计的相似度计算公式，计算目标与目标之间的关联代价矩阵，之后通过经典的匈牙利匹配算法，进行一对一的目标关联。
2)目标的位姿和轮廓追踪
关联后，可以得到新一帧的目标的位姿信息，之后采用经典的卡尔曼滤波算法，进行物体的位姿和轮廓大小的追踪。
3)目标的类别信息融合
采用序列滤波算法，进行类别信息融合。通过统计深度学习训练的数据，可以得到一个类别的目标，被检测为某一个类别的概率。因为有多个车、人、小动物、石头等多个类别，所以最终形式为矩阵，称为状态转移矩阵。
设传感器di的状态转移矩阵为matrixdi,
Figure BDA0003485304520000091
其中，ai,j是该传感器识别第i类为第j类的转移概率，每一行和为1。
设第n帧时，该目标的融合类别概率[p1…pm]n，第n+1帧观测到的类别概率为[p'1…p'm]n+1，则融合后的第j类的概率为
Figure BDA0003485304520000101
之后，将融合后的目标信息，结合地面检测算法检测到的凸起目标做判断，如果该凸起与某个目标重合，则是障碍物；如果不是重合，则是垃圾，可清扫。
在信息融合之后，还包括：目标航迹管理。具体的：
每个传感器检测到的目标，如果成功关联到某个目标航迹，则该目标航迹增加置信度，当置信度超过设定阈值，则认为是可信目标航迹，需要下游算法做出规划。如果检测到的目标，没有关联到目标航迹，则该目标航迹置信度降低，当低于一定值时，则删除航迹。如果检测到的目标，没有关联到目标航迹，则根据航迹建立的规则，进行新的航迹建立。
上述固态激光雷达、左侧激光雷达、右侧激光雷达、常规高清摄像头、红外夜视摄像头为环卫清扫车路面识别过程中所用的传感器。在后续的识别过程中，传感器所采集的数据，经过运行在车载计算单元中的感知算法处理，会输出周围环境中，目标的位置、速度、轮廓、类别等信息；下游的规划算法根据感知结果，做出综合规划；之后由下游的控制算法根据规划结果，与环卫车控制器通过以太网和CAN总线等行驶交互，实现图4中的喷水机构(喷水泵和喷水嘴)、清扫机构(一体式扫刷扫盘)、横向控制机构(线控方向盘，控制行驶方向)和纵向控制机构(线控刹车和油门，控制行驶速度)的控制，从而实现整个环卫清扫车的无人驾驶作业。
在实际应用过程中，上述步骤101-步骤105的具体实现过程如图5所示。参见图5，首先，获取固态激光雷达点云数据、左侧激光点云雷达数据、右侧激光点云雷达数据、常规高清摄像头拍摄的图像以及高清红外夜视摄像头拍摄的图像，对获取到的数据经过相应的目标检测算法进行目标检测后，得到多种检测信息，多种检测信息经过多源信息融合后，得到多源融合信息，并根据多源融合信息判断前方存在的目标的类别(如，前方是否存在非垃圾类障碍物)。若前方存在垃圾类的目标，则根据前方道路高度计算清扫机构离地高度，并判断是否需要调整扫盘离地高度，若需要调整，则判断扫盘离地高度是否超出最大调整高度阈值，若超过，则控制车辆绕障行驶，若没有超过，则调整扫盘离地高度；根据多源融合信息中垃圾类的目标对应的信息计算清扫机构功率(扫盘功率)，确定是否需要调整扫盘功率，若是，则调整扫盘功率。若前方存在烟雾类的目标(存在非垃圾类障碍物)，则增大当前的喷水泵功率，并根据增大后的喷水泵功率控制喷水机构完成喷水操作；若前方不存在烟雾类的目标，则减小当前的喷水泵功率。若前方存在障碍物类的目标，则根据多源融合信息计算是否需要避障，并根据计算结果确定环卫清扫车是否要绕行。
上述环卫清扫车路面识别方法，获取高分辨率激光雷达(固态激光雷达或高线束机械式激光雷达)探测到前方地面的雷达点云，能便于后续检测微小物体和路面平整度。左侧激光雷达和右侧激光雷达能进一步提高检测的准确性。获取红外夜视摄像头采集到的红外图像，使得光照条件较差时，也能实现检测，同时，利用红外摄像头探测红外线的固有特性优势，极大提升了在光照条件差、有水雾的环境中，感知周围物体，尤其感知是生命体的性能，减少倾轧和碰撞事故，保证了对生命体的安全性，提升了系统的安全性和鲁棒性。本实施例达到了拓宽工作时间范围，减少扫盘损坏次数，节省车载油电水等资源，提升工作效率和清洁效果的目的。
本发明还提供了一种环卫清扫车路面识别装置，如图4所示，所述识别装置包括：设置在环卫清扫车上的点云数据采集装置、图像采集装置和控制器；所述点云数据采集装置和所述图像采集装置均与所述控制器连接；所述控制器与环卫清扫车上的清扫机构和喷水机构连接。本实施例的识别装置中各个部件在环卫清扫车上的安装位置如图6所示。所述点云数据采集装置至少包括分辨率大于设定值的激光雷达4，例如高分辨率固态激光雷达；所述图像采集装置至少包括红外夜视摄像头5。所述点云数据采集装置用于获取周围环境的雷达点云数据；所述图像采集装置用于获取周围环境的视频图像。所述控制器用于：
对所述雷达点云数据进行目标检测，得到第一检测信息。对所述视频图像进行目标检测，得到第二检测信息。将所述第一检测信息和所述第二检测信息融合，得到多源融合信息；所述多源融合信息包括周围环境中目标的位置、速度、轮廓和类别。
根据所述多源融合信息判断前方存在的目标的类别。若前方存在垃圾类的目标，则根据前方道路高度计算清扫机构离地高度以及根据所述多源融合信息中垃圾类的目标对应的信息计算清扫机构功率，并根据所述清扫机构离地高度和所述清扫机构功率完成清扫操作；清扫机构包括与控制器连接的扫刷升降杆7和与扫刷升降杆连接的一体式扫刷扫盘8。若前方存在烟雾类的目标，则增大当前的喷水功率，并根据增大后的喷水功率控制喷水机构完成喷水操作；所述喷水机构包括与控制器连接的喷水泵和与喷水泵连接的喷水嘴1。若前方不存在烟雾类的目标，则减小当前的喷水功率。若前方存在障碍物类的目标，则根据所述多源融合信息计算是否需要避障，并根据计算结果确定环卫清扫车是否要绕行。
作为一种可选的实施方式，所述点云数据采集装置，还包括分辨率小于设定值的左侧激光雷达6和分辨率小于设定值的右侧激光雷达2；所述雷达点云数据包括分辨率大于设定值的激光雷达4、分辨率小于设定值的左侧激光雷达6和分辨率小于设定值的右侧激光雷达2采集到的点云数据。
作为一种可选的实施方式，所述图像采集装置，还包括第二摄像头3；所述视频图像包括所述红外夜视摄像头采集到的图像和所述第二摄像头3采集到的图像。第二摄像头3为常规高清摄像头。
作为一种可选的实施方式，分辨率大于设定值的激光雷达4为分辨率大于设定值的固态激光雷达或高线束机械式激光雷达；分辨率小于设定值的左侧激光雷达6采集和分辨率小于设定值的右侧激光雷达2均为分辨率小于设定值的机械旋转式激光雷达。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种环卫清扫车路面识别方法，其特征在于，包括：
获取周围环境的雷达点云数据和视频图像；所述雷达点云数据包括第一类点云数据；所述第一类点云数据为分辨率大于设定值的激光雷达采集的点云数据；所述视频图像包括第一类图像；所述第一类图像为采用红外夜视摄像头采集的图像；
对所述雷达点云数据进行目标检测，得到第一检测信息；
对所述视频图像进行目标检测，得到第二检测信息；
将所述第一检测信息和所述第二检测信息融合，得到多源融合信息；所述多源融合信息包括周围环境中目标的位置、速度、轮廓和类别。
2.根据权利要求1所述的一种环卫清扫车路面识别方法，其特征在于，在所述将所述第一检测信息和所述第二检测信息融合，得到多源融合信息之后，还包括：
根据所述多源融合信息判断前方存在的目标的类别；
若前方存在垃圾类的目标，则根据前方道路高度计算清扫机构离地高度以及根据所述多源融合信息中垃圾类的目标对应的信息计算清扫机构功率，并根据所述清扫机构离地高度和所述清扫机构功率完成清扫操作；
若前方存在烟雾类的目标，则增大当前的喷水功率，并根据增大后的喷水功率完成喷水操作；
若前方不存在烟雾类的目标，则减小当前的喷水功率；
若前方存在障碍物类的目标，则根据所述多源融合信息计算是否需要避障，并根据计算结果确定环卫清扫车是否要绕行。
3.根据权利要求1所述的一种环卫清扫车路面识别方法，其特征在于，所述雷达点云数据还包括第二类点云数据；所述第二类点云数据包括分辨率小于设定值的左侧激光雷达采集的点云数据和分辨率小于设定值的右侧激光雷达采集的点云数据；
所述对所述雷达点云数据进行目标检测，得到第一检测信息，具体包括：
采用最近邻时间同步法对所述第一类点云数据和所述第二类点云数据进行筛选，并对筛选后的点云数据进行拼接，采用点云目标检测算法对拼接后的点云数据进行目标检测，得到点云检测结果；
采用地面检测算法对所述第一类点云数据进行目标检测，得到地面检测结果；所述第一检测信息包括所述点云检测结果和所述地面检测结果。
4.根据权利要求1所述的一种环卫清扫车路面识别方法，其特征在于，所述视频图像还包括第二类图像；所述第二类图像为采用第二摄像头采集的图像；
所述对所述视频图像进行目标检测，得到第二检测信息，具体包括：
采用深度学习算法分别对所述第一类图像和所述第二类图像进行目标检测，得到第二检测信息。
5.根据权利要求3所述的一种环卫清扫车路面识别方法，其特征在于，所述点云目标检测算法为PointPillars算法；所述地面检测算法包括基于栅格的坡度检测算法。
6.一种环卫清扫车路面识别装置，其特征在于，包括：设置在环卫清扫车上的点云数据采集装置、图像采集装置和控制器；所述点云数据采集装置和所述图像采集装置均与所述控制器连接；
所述点云数据采集装置至少包括分辨率大于设定值的激光雷达；所述图像采集装置至少包括红外夜视摄像头；
所述点云数据采集装置用于获取周围环境的雷达点云数据；
所述图像采集装置用于获取周围环境的视频图像；
所述控制器用于：
对所述雷达点云数据进行目标检测，得到第一检测信息；
对所述视频图像进行目标检测，得到第二检测信息；
将所述第一检测信息和所述第二检测信息融合，得到多源融合信息；所述多源融合信息包括周围环境中目标的位置、速度、轮廓和类别。
7.根据权利要求6所述的一种环卫清扫车路面识别装置，其特征在于，所述点云数据采集装置，还包括分辨率小于设定值的左侧激光雷达和分辨率小于设定值的右侧激光雷达；所述雷达点云数据包括分辨率大于设定值的激光雷达、分辨率小于设定值的左侧激光雷达和分辨率小于设定值的右侧激光雷达采集到的点云数据。
8.根据权利要求6所述的一种环卫清扫车路面识别装置，其特征在于，所述图像采集装置，还包括第二摄像头；所述视频图像包括所述红外夜视摄像头采集到的图像和所述第二摄像头采集到的图像。
9.根据权利要求6所述的一种环卫清扫车路面识别装置，其特征在于，分辨率大于设定值的激光雷达为分辨率大于设定值的固态激光雷达或高线束机械式激光雷达；分辨率小于设定值的左侧激光雷达和分辨率小于设定值的右侧激光雷达均为分辨率小于设定值的机械旋转式激光雷达。
10.根据权利要求6所述的一种环卫清扫车路面识别装置，其特征在于，所述控制器还用于：
根据所述多源融合信息判断前方存在的目标的类别；
若前方存在垃圾类的目标，则根据前方道路高度计算清扫机构离地高度以及根据所述多源融合信息中垃圾类的目标对应的信息计算清扫机构功率，并根据所述清扫机构离地高度和所述清扫机构功率完成清扫操作；
若前方存在烟雾类的目标，则增大当前的喷水功率，并根据增大后的喷水功率完成喷水操作；
若前方不存在烟雾类的目标，则减小当前的喷水功率；
若前方存在障碍物类的目标，则根据所述多源融合信息计算是否需要避障，并根据计算结果确定环卫清扫车是否要绕行。
CN202210078978.4A 2022-01-24 2022-01-24 一种环卫清扫车路面识别方法及装置 Pending CN114495059A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210078978.4A CN114495059A (zh) 2022-01-24 2022-01-24 一种环卫清扫车路面识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210078978.4A CN114495059A (zh) 2022-01-24 2022-01-24 一种环卫清扫车路面识别方法及装置

Publications (1)

Publication Number Publication Date
CN114495059A true CN114495059A (zh) 2022-05-13

Family

ID=81475377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210078978.4A Pending CN114495059A (zh) 2022-01-24 2022-01-24 一种环卫清扫车路面识别方法及装置

Country Status (1)

Country Link
CN (1) CN114495059A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114994634A (zh) * 2022-05-18 2022-09-02 盐城中科高通量计算研究院有限公司 一种巡逻车激光雷达探坑算法
CN114994634B (zh) * 2022-05-18 2024-05-28 盐城中科高通量计算研究院有限公司 一种巡逻车激光雷达探坑算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114994634A (zh) * 2022-05-18 2022-09-02 盐城中科高通量计算研究院有限公司 一种巡逻车激光雷达探坑算法
CN114994634B (zh) * 2022-05-18 2024-05-28 盐城中科高通量计算研究院有限公司 一种巡逻车激光雷达探坑算法

Similar Documents

Publication Publication Date Title
WO2021259344A1 (zh) 车辆检测方法、装置、车辆和存储介质
CN108398672B (zh) 基于前倾2d激光雷达移动扫描的路面与障碍检测方法
CN101608924B (zh) 一种基于灰度估计和级联霍夫变换的车道线检测方法
WO2018020954A1 (ja) 機械学習用データベース作成システム
CN110065494A (zh) 一种基于车轮检测的车辆防碰撞方法
US20060111841A1 (en) Method and apparatus for obstacle avoidance with camera vision
CN111369541A (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN111551938B (zh) 一种基于矿区环境的无人驾驶技术感知融合方法
US11577748B1 (en) Real-time perception system for small objects at long range for autonomous vehicles
CN114415171A (zh) 一种基于4d毫米波雷达的汽车可行驶区域检测方法
Knoeppel et al. Robust vehicle detection at large distance using low resolution cameras
US20190188499A1 (en) Proving hypotheses for a vehicle using optimal experiment design
CN115775378A (zh) 一种基于多传感器融合的车路协同目标检测方法
Thorpe et al. Safe robot driving in cluttered environments
Wang et al. Sensor-based environmental perception Technology for Intelligent Vehicles
CN114882182A (zh) 一种基于车路协同感知系统的语义地图构建方法
CN114495066A (zh) 一种辅助倒车的方法
CN114155720A (zh) 一种路侧激光雷达的车辆检测和轨迹预测方法
Abirami et al. Future: HCI in public conveyances
CN114495059A (zh) 一种环卫清扫车路面识别方法及装置
Thorpe et al. Dependable perception for robots
Pan et al. Vision-based Vehicle Forward Collision Warning System Using Optical Flow Algorithm.
Aycard et al. Puvame-new french approach for vulnerable road users safety
JP4106163B2 (ja) 障害物検出装置及びその方法
JP2020074816A (ja) 電動車両

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination