CN117850420A - 一种环卫车辆控制方法和环卫车辆 - Google Patents
一种环卫车辆控制方法和环卫车辆 Download PDFInfo
- Publication number
- CN117850420A CN117850420A CN202311868034.8A CN202311868034A CN117850420A CN 117850420 A CN117850420 A CN 117850420A CN 202311868034 A CN202311868034 A CN 202311868034A CN 117850420 A CN117850420 A CN 117850420A
- Authority
- CN
- China
- Prior art keywords
- sanitation
- information
- vehicle
- task
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000007613 environmental effect Effects 0.000 claims abstract description 61
- 238000013439 planning Methods 0.000 claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 44
- 238000005406 washing Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 31
- 238000011010 flushing procedure Methods 0.000 description 29
- 238000005507 spraying Methods 0.000 description 18
- 230000001276 controlling effect Effects 0.000 description 16
- 238000004140 cleaning Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 239000000306 component Substances 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 239000007921 spray Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004092 self-diagnosis Methods 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005086 pumping Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种环卫车辆控制方法和环卫车辆,环卫车辆控制方法,应用于环卫车辆包括:获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置;接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务;根据所述起始位置、所述目标位置和所述实时地图,规划导航路径;根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务。本发明提供的环卫车辆控制方法和环卫车辆,能够根据环卫任务识别目标,自行规划行进路径前往执行环卫任务,提高了环卫人员的工作效率。
Description
技术领域
本发明涉及环卫车辆技术领域,具体而言,涉及一种环卫车辆控制方法和环卫车辆。
背景技术
环卫工作是城市管理的重要组成部分,随着社会的发展进步,城市对环卫的要求在逐步提升,环卫面向的工作量越来越大。随着文明城市建设的深入,各种功能各异的环卫车辆成为城市环卫工作的必要助手。例如冲洗车就是一种环卫人员常用的环卫车辆。冲洗车是一种适用于硬质地面清洗同时吸干污水,并将污水带离现场的清洁机械,适合一些车站、码头、机场、车间、仓库、学校、医院、饭店、卖场等具有广阔硬质地面的场所。
申请人在构思和形成本发明的过程中,至少发现以下问题:目前在环卫工作过程中,往往需要环卫车辆进行配合,通过环卫车辆承载工作人员前往工作地点、携带工作装备等功能。现有的环卫车辆智能化程度较低,往往需要员工控制其每个运行细节,使用不方便,造成环卫工作效率不高。
发明内容
为了弥补以上不足,本发明提供了一种环卫车辆控制方法,应用于环卫车辆,包括:
获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置;
接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务;
根据所述起始位置、所述目标位置和所述实时地图,规划导航路径;
根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务。
可选地,所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
确定所述实时地图中的道路区域和障碍物。
可选地,所述环境信息包括图像数据,所述环卫车辆通过双目摄像头获取所述图像数据;所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
对所述摄像头信息进行图像标定,并融合两个单目摄像头或使用视觉加点云的方式获得深度信息;
通过yolov5模型识别视野范围内的目标物体,并基于所述目标物体的特征值,使用图像灰度直方图方式对所述目标物体进行识别和筛选;
根据所述深度信息,利用ByteTrack算法获取所述目标物体的目标位置和当前距离。
可选地,所述图像数据包括双目摄像头拍摄的第一图像和第二图像;所述对所述摄像头信息进行图像标定,并融合两个单目摄像头或使用视觉加点云的方式获得深度信息的步骤包括:
对所述第一图像和第二图像进行图像预处理,所述图像预处理包括滤波降噪和特征点检测;
利用费卢氏距离算法和/或归一化相关匹配算法,在所述第一图像和所述第二图像中找到匹配的特征点对;
根据所述双目摄像头的相机内参和匹配的特征点对坐标,利用三角化原理计算所述双目摄像头的相机间的基线长度;
对每对匹配的特征点,根据所述基线长度计算其在所述第一图像和所述第二图像上的坐标差值,获取视差数据;
根据双目立体匹配算法和/或几何特征与上下文约束算法清除错误匹配的特征点,以进行视差优化。
可选地,所述环境信息包括图像数据、雷达数据和卫星定位数据;所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
响应于获取所述图像数据、雷达数据和卫星定位数据,分别解析所述图像数据、雷达数据和卫星定位数据的在数据采集过程中的时间戳;
基于所述时间戳,将所述图像数据、雷达数据和卫星定位数据进行同步对齐;
基于预设的传感器数据融合算法,将同步对齐的所述图像数据、雷达数据和卫星定位数据进行融合,以确定所述实时地图中的道路区域和障碍物,并计算所述障碍物的位置和运动信息。
可选地,所述接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务的步骤中包括:
根据所述任务信息,抽取所述任务信息的任务特征;
根据所述任务特征,在所述实时地图中确定所述目标位置;
基于所述目标位置,从所述环境信息中调取所述目标位置的环境特征;
根据所述环境特征,基于预设的任务执行策略确定对于所述目标位置的环卫任务。
可选地,所述根据所述起始位置、所述目标位置和所述实时地图,规划导航路径的步骤中包括:
基于所述定位信息,确定所述环卫车辆的坐标位置、位姿信息和行进速度;
根据所述坐标位置,确定所述起始位置;
根据所述位姿信息,确定所述环卫车辆的起始方向;
根据所述起始位置和所述目标位置,计算所述导航路径的距离,以调整所述行进速度。
可选地,所述根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务的步骤及之前包括:
基于所述环境信息,跟踪识别环卫人员;
以距离所述环卫人员的位置预设距离处为目标位置进行更新,循环规划所述导航路径;
控制所述环卫车辆向循环更新的目标位置行进,以跟随所述环卫人员。
可选地,所述环境信息包括摄像头采集的图像数据;所述基于所述环境信息,跟踪识别环卫人员的步骤包括:
采集多张环卫人员图像训练预先构建的神经网络模型进行训练,以获取目标检测模型;
提取所述图像数据中的环卫人员特征点,基于所述目标检测模型进行特征点匹配,以识别所述环卫人员。
本发明还提供一种环卫车辆,所述环卫车辆包括互相连接的处理器和存储介质,其中:
所述存储介质用于存储计算机程序;所述处理器用于读取所述计算机程序并运行,以实现如上述的环卫车辆控制方法。
本发明提供的环卫车辆控制方法和环卫车辆,通过获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置;接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务;根据所述起始位置、所述目标位置和所述实时地图,规划导航路径;根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务,能够根据环卫任务识别目标,自行规划行进路径前往执行环卫任务,提高了环卫人员的工作效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例的环卫车辆控制方法流程图。
图2为本申请一实施例的面向智能环卫车辆的车云协同上位机系统方框图。
图3为本申请一实施例的追踪算法流程示意图。
图4为本申请一实施例中hybrid A*与A*算法在路径规划的对比图。
图5为本申请一实施例的智能冲洗车功能模块方框图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素,此外,本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义,也可能具有不同含义,其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
应当理解,尽管在本文可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本文范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本申请使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的,或意味着任一个或任何组合。例如,“包括以下至少一个:A、B、C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”,再如,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A和B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
应该理解的是,虽然本申请实施例中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
需要说明的是,在本文中,采用了诸如S10、S20等步骤代号,其目的是为了更清楚简要地表述相应内容,不构成顺序上的实质性限制,本领域技术人员在具体实施时,可能会先执行S20后执行S10等,但这些均应在本申请的保护范围之内。
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本申请的说明,其本身没有特定的意义。因此,“模块”、“部件”或者“单元”可以混合地使用。
第一实施例
本发明提供一种环卫车辆控制方法,应用于环卫车辆,图1为本申请一实施例的环卫车辆控制方法流程图。
如图1所示,在一实施例中,环卫车辆控制方法包括:
S10:获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置。
示例性地,智能环卫车辆通过感知模块感知外部环境,所述感知模块使用激光雷达、毫米波雷达、摄像头,以提供高刷新率与较高精度的实时地图,便于识别障碍物、规划行驶路径。
S20:接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务。
示例性地,智能环卫车辆可以通过通信模块接收云端或环卫人员下发的任务,将任务解析为行驶目标。
S30:根据所述起始位置、所述目标位置和所述实时地图,规划导航路径。
示例性地,智能环卫车辆的决策模块可以使用实时地图与环境信息,定位智能环卫车辆在实时地图中的位置,根据行驶目标位置,实时规划出环卫车辆的行驶状态参数和行驶导航路径。
S40:根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务。
示例性地,智能环卫车辆的控制模块可以根据行驶状态参数与行驶导航路径,控制智能环卫车辆的启停与行驶方向。
本实施例通过获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置;接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务;根据所述起始位置、所述目标位置和所述实时地图,规划导航路径;根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务,能够根据环卫任务识别目标,自行规划行进路径前往执行环卫任务,提高了环卫人员的工作效率。
可选地,所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
确定所述实时地图中的道路区域和障碍物。
示例性地,智能环卫车辆可以通过感知模块感知外部环境,基于所述环境信息的感知数据建立实时地图,并区分其中的可行驶区域与障碍物,以在规划导航路径时避开障碍物,保障在可行驶区域安全地沿导航路径行进。示例性地,可以根据马路上的物体高度预设阈值进行判断障碍物。例如,如果高度超过路面5公分,可以定性为障碍物,控制环卫车辆在导航路径上直接绕开。
可选地,所述环境信息包括图像数据,所述环卫车辆通过双目摄像头获取所述图像数据;所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
对所述摄像头信息进行图像标定,并融合两个单目摄像头或使用视觉加点云的方式获得深度信息;
通过yolov5模型识别视野范围内的目标物体,并基于所述目标物体的特征值,使用图像灰度直方图方式对所述目标物体进行识别和筛选;
根据所述深度信息,利用ByteTrack算法获取所述目标物体的目标位置和当前距离。
示例性地,根据所述深度信息,对每个物体进行识别和筛选,可以确定实时地图中的道路区域和障碍物。利用ByteTrack算法获取所述目标物体的目标位置和当前距离,以确定环境信息中每个物体的位置、大小、种类的过程中,可以基于双目摄像头的深度信息进行特征处理。
示例性地,感知模块使用摄像头通过双目摄像头标定、两个单目摄像头融合或视觉加点云的方式获得深度信息,通过微调的yolov5模型识别视野范围内的目标,使用图像灰度直方图、目标轮廓、目标颜色范围等特征值对目标进行筛选,再利用ByteTrack算法实时跟踪目标,综合深度信息得到目标的实时位置及其与环卫车辆的实时距离。
本申请中,采用的ByteTrack算法是一种基于目标检测的追踪算法。该算法流程如图2所示,将目标标记为高分框与低分框两部分,首先将高分框初始位置标记为轨迹,将轨迹保存在轨迹空间中,后续帧中的高分框与轨迹进行匹配,判断该高分框框选的是否为要跟踪的目标;而当高分框没有匹配上之前的轨迹时,选择视野中的低分框,将其与轨迹进行匹配,判断低分框中的目标是否为要跟踪的目标;在高分框没有匹配到轨迹时,对其新建一个跟踪轨迹,保留若干帧,当其再现时再进行匹配,避免跟踪错误目标。ByteTrack在匹配时仅使用运动模型保持追踪,即仅使用了卡尔曼滤波来预测当前框在下一帧时的位置,将预测框与检测框的交并比(IoU)作为相似度,使用匈牙利算法完成检测框的匹配,没有使用目标的外观视觉等特征,保证了算法的高效率与有效性。
可选地,所述图像数据包括双目摄像头拍摄的第一图像和第二图像;所述对所述摄像头信息进行图像标定,并融合两个单目摄像头或使用视觉加点云的方式获得深度信息的步骤包括:
对所述第一图像和第二图像进行图像预处理,所述图像预处理包括滤波降噪和特征点检测;
利用费卢氏距离算法和/或归一化相关匹配算法,在所述第一图像和所述第二图像中找到匹配的特征点对;
根据所述双目摄像头的相机内参和匹配的特征点对坐标,利用三角化原理计算所述双目摄像头的相机间的基线长度;
对每对匹配的特征点,根据所述基线长度计算其在所述第一图像和所述第二图像上的坐标差值,获取视差数据;
根据双目立体匹配算法和/或几何特征与上下文约束算法清除错误匹配的特征点,以进行视差优化。
示例性地,在处理摄像头图像的深度信息过程中,可以按照以下过程进行处理:
1.图像预处理的过程中,可以对两幅图像进行滤波降噪、特征点检测等预处理。
2.特征点匹配的过程中,可以利用费卢氏距离或NCC(Normalized CrossCorrelation)等算法,在两幅图像中找到匹配特征点对。
3.基线计算的过程中,可以根据相机内参和匹配点坐标,利用三角化原理计算相机间的基线长度。
4.视差计算的过程中,对每对匹配点,计算其在两幅图像平面上的坐标差值,即为该点的视差。
5.视差与深度转换的过程中,可以根据相机内参和基线长度,利用视差和深度的运算关系,将视差映射为场景(scene)深度。
6.视差优化的过程中,可以利用常见视差优化方法如SGM(双目立体匹配算法)或GC(Geometry and Context几何特征与上下文约束算法),除去错误匹配点,最终得到视差图。
可选地,所述环境信息包括图像数据、雷达数据和卫星定位数据;所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
响应于获取所述图像数据、雷达数据和卫星定位数据,分别解析所述图像数据、雷达数据和卫星定位数据的在数据采集过程中的时间戳;
基于所述时间戳,将所述图像数据、雷达数据和卫星定位数据进行同步对齐;
基于预设的传感器数据融合算法,将同步对齐的所述图像数据、雷达数据和卫星定位数据进行融合,以确定所述实时地图中的道路区域和障碍物,并计算所述障碍物的位置和运动信息。
示例性地,将双目摄像头、激光雷达和GPS设备正确连接到环卫车辆的工控机上进行数据采集,使用其各硬件自带的驱动程序,从上述设备中获取原始数据。双目摄像头、激光雷达和GPS可以同时进行数据采集,获取环境信息、物体位置和设备位置等数据。对于每个传感器获取的原始数据,进行必要的数据预处理以去除噪声和校准数据。由于双目摄像头、激光雷达和GPS设备可能具有不同的数据采集速率和时间戳,可以利用时间戳将它们的数据进行同步,以确保它们在相同的时间点上对应。
可选地,将双目摄像头、激光雷达和GPS获取的数据通过工控机进行融合,可以得到更全面、准确的环境感知信息。工控机中的数据融合可以通过传感器融合算法实现,将不同传感器的数据进行整合和分析。在数据融合的过程中,可以使用传感器融合算法,卡尔曼滤波器或扩展卡尔曼滤波器等,将不同传感器的测量结果进行融合,以估计环境的状态和属性。通过数据融合,将来自双目摄像头、激光雷达和GPS的数据进行融合,能够获得更全面和准确的环境感知信息。通过数据融合,可以估计出环境的状态,例如小车的位置、速度以及周围障碍物的位置和运动信息等。这些估计值可以用于工控机的路径规划、导航和决策等任务。将融合后的环境感知信息输出给环卫车辆工控机的控制系统,可以帮助环卫车辆做出正确的决策和行为,例如导航路径的规划、环卫人员的跟踪识别、障碍物的识别等。
可选地,所述接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务的步骤中包括:
根据所述任务信息,抽取所述任务信息的任务特征;
根据所述任务特征,在所述实时地图中确定所述目标位置;
基于所述目标位置,从所述环境信息中调取所述目标位置的环境特征;
根据所述环境特征,基于预设的任务执行策略确定对于所述目标位置的环卫任务。
示例性地,通过任务特征在实时地图中匹配对应的目标位置,就是所需要作业的工作区域。然后获取目标位置相关的环境特征,就可以根据对应的任务执行策略确定如何执行本次环卫任务。
可选地,所述根据所述起始位置、所述目标位置和所述实时地图,规划导航路径的步骤中包括:
基于所述定位信息,确定所述环卫车辆的坐标位置、位姿信息和行进速度;
根据所述坐标位置,确定所述起始位置;
根据所述位姿信息,确定所述环卫车辆的起始方向;
根据所述起始位置和所述目标位置,计算所述导航路径的距离,以调整所述行进速度。
示例性地,如果目标位置在起始位置的后方,那就可以控制环卫小车先转向,在向目标位置前进。示例性地,双目摄像头将目标位置的距离实时传递给环卫车辆,环卫车辆据此能确定路径控制点;目标物体例如环卫人员与环卫车辆的停车位置可以设置一定的距离作为目标位置,以防止碰撞造成损失。可选地,若环卫车辆距离目标位置近则会减速行进,若距离目标位置还比较远则可以加速行进。可选地,环卫车辆的加速度可以是前期设置的,可以是固定的,后期可以根据情况由用户进行调整。
可选地,所述根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务的步骤及之前包括:
基于所述环境信息,跟踪识别环卫人员;
以距离所述环卫人员的位置预设距离处为目标位置进行更新,循环规划所述导航路径;
控制所述环卫车辆向循环更新的目标位置行进,以跟随所述环卫人员。
示例性地,在城市道路的环卫任务中,往往需要人机协同进行工作,可以下发跟随指令至环卫车辆,使环卫车辆跟随环卫人员行动,方便人员随时使用环卫车辆上携带的环卫工具。在跟随环卫人员的任务中,通过跟踪识别环卫人员的位置,可以控制环卫车辆不断导航行驶至环卫人员附近的位置。
可选地,所述环境信息包括摄像头采集的图像数据;所述基于所述环境信息,跟踪识别环卫人员的步骤包括:
采集多张环卫人员图像训练预先构建的神经网络模型进行训练,以获取目标检测模型;
提取所述图像数据中的环卫人员特征点,基于所述目标检测模型进行特征点匹配,以识别所述环卫人员。
示例性地,对于环卫人员的识别:前期可以采集大量环卫人员的作业图像,将采集到的训练数据集中输入预先构建算法模型中,进行训练后经过验证,就能得到训练好的目标检测模型,以加载在环卫车辆上识别环卫人员。现场环卫人员工作时,会跟训练模型中的特征点实时匹配,就能识别出环卫人员。
第二实施例
在第一实施例的基础上,本发明还提供一种环卫车辆,所述环卫车辆包括互相连接的处理器和存储介质,其中:
所述存储介质用于存储计算机程序;所述处理器用于读取所述计算机程序并运行,以实现如上述的环卫车辆控制方法。
图2为本申请一实施例的面向智能环卫车辆的车云协同上位机系统方框图。
如图1所示,示例性地,基于机器人操作系统(ROS),环卫车辆包含感知模块、监控模块、通信模块、决策模块、控制模块,通过模块与外部环境、模块与云端、模块之间的信息交互实现车云协同智能完成环卫任务。其中,感知模块负责环卫车辆获取外部环境的数据,监控模块负责获取环卫车辆内部的数据,通信模块负责车云的信息交互,决策模块负责根据当前任务与车辆状态给出指令,控制模块负责接收指令并控制环卫车辆执行。
示例性地,智能的环卫车辆实现环卫任务的步骤可以包括如下至少一项:
步骤一、智能环卫车辆通过感知模块感知外部环境,基于感知数据建立实时地图,并区分其中的可行驶区域与障碍物。
步骤二、智能环卫车辆通过监控模块接收环卫车辆内部传感器的数据,获取环卫车辆信息。
步骤三、智能环卫车辆的通信模块负责接收云端下发的任务,将任务解析为行驶目标。
步骤四、智能环卫车辆的决策模块使用步骤一提供的实时地图与步骤二提供的部分环卫车辆信息,定位智能环卫车辆在实时地图中的位置,根据步骤三提供的行驶目标的目标位置,实时规划出环卫车辆的行驶状态或导航路径;
步骤五、智能环卫车辆的控制模块根据行驶状态与导航路径,控制智能环卫车辆的启停与行驶方向。
本申请中,感知模块使用激光雷达、毫米波雷达,提供高刷新率与较高精度的实时地图,用于识别障碍物、划分形式区域,生成栅格地图,便于后续模块做出决策、规划导航路径。也可使用视觉信息辅助生成地图或划分形势区域。
感知模块使用摄像头通过双目摄像头标定、两个单目摄像头融合或视觉加点云的方式获得深度信息,通过微调的yolov5模型识别视野范围内的目标,使用图像灰度直方图、目标轮廓、目标颜色范围等特征值对目标进行筛选,再利用ByteTrack算法实时跟踪目标,综合深度信息得到目标的实时位置及其与环卫车辆的实时距离。
图3为本申请一实施例的追踪算法流程示意图。
如图3所示,示例性地,本申请采用的ByteTrack算法是一种基于目标检测的追踪算法。该算法流程如图3所示,将目标标记为高分框与低分框两部分,首先将高分框初始位置标记为轨迹,将轨迹保存在轨迹空间中,后续帧中的高分框与轨迹进行匹配,判断该高分框框选的是否为要跟踪的目标;而当高分框没有匹配上之前的轨迹时,选择视野中的低分框,将其与轨迹进行匹配,判断低分框中的目标是否为要跟踪的目标;在高分框没有匹配到轨迹时,对其新建一个跟踪轨迹,保留若干帧,当其再现时再进行匹配,避免跟踪错误目标。ByteTrack在匹配时仅使用运动模型保持追踪,即仅使用了卡尔曼滤波来预测当前框在下一帧时的位置,将预测框与检测框的交并比(IoU)作为相似度,使用匈牙利算法完成检测框的匹配,没有使用目标的外观视觉等特征,保证了算法的高效率与有效性。
监控模块基于环卫车辆的硬件传感器设备,从车辆底盘中,通过机器人操作系统、车辆CAN总线报文等数据来源中实时解析获取环卫车辆的位姿、位置、电量、行驶速度、硬件设备状态、软件工作状态信息。
通信模块负责智能环卫车辆与云端的信息交互,交互的方式采用MQTT协议和视频流服务。通过MQTT协议实现环卫车辆的状态信息上传、云端的任务指令下发,通过视频流服务实现传输实时视频数据。在信息传输的过程中,使用握手机制保证指令的下发与响应,通过延时机制放弃长时间未执行的指令保证系统的正常运行。
决策模块解析云端的任务指令,使用感知模块提供的实时地图与监控模块提供的部分环卫车辆信息,定位智能环卫车辆在实时地图中的位置,利用hybrid A*等路径规划算法实时规划出环卫车辆的行驶状态或导航路径。为保证环卫车辆的持续稳定行进,采用动态窗口(DWA)法、滤波等方式对实时路径进行过滤和修正,输出稳定路径。
图4为本申请一实施例中hybrid A*与A*算法在路径规划的对比图。
如图4所示,示例性地,本申请中采用的hybrid A*是A*算法考虑了车辆运动学约束后的改进了的路径规划算法。如图4所示,相较A*算法,hybrid A*使用Reeds-Sheep曲线连接路径点,且路径点可以在栅格的任意位置上,这使得其生成的路径更平滑、应对复杂场景的能力也更强。
控制模块接收行驶状态或导航路径的指令,根据指令做出相应的动作,控制环卫车辆的启停与行驶方向。
本实施例可以通过获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置;接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务;根据所述起始位置、所述目标位置和所述实时地图,规划导航路径;根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务,能够根据环卫任务识别目标,自行规划行进路径前往执行环卫任务,提高了环卫人员的工作效率。
第三实施例
在第二实施例的基础上,本申请还提供一种利用双目摄像头进行识别跟踪的四轮智能冲洗车,图5为本申请一实施例的智能冲洗车功能模块方框图。
如图5所示,在一实施例中,利用双目摄像头进行识别跟踪的四轮智能冲洗车,携带高压喷水装置,能够自主跟随环卫人员,对道路两侧进行冲洗,主要用于环卫保洁领域。一共包含四个模块,智能跟随模块,人机驾控模块,底盘控制模块,高压喷水模块,这四个模块在四轮智能冲洗车上相互协作,共同完成车辆的驾驶控制和安全保障任务。
一.功能描述
1.智能跟随模块:
智能跟随模块作为四轮智能冲洗车上的核心部件上,位于车辆的头部,包括双目摄像头、激光雷达等传感器。它们实时采集周围环境信息,例如道路宽度、道路标记、前方车辆等。智能跟随模块将这些信息与底盘控制模块进行通信,实现车辆的行驶控制。
具体来说,智能跟随模块的功能包括:
a.目标检测:通过双目摄像头和激光雷达等传感器,实时采集周围环境信息,判断前方是否存在目标。
b.距离控制:根据与目标的距离,实时调整车辆的速度和转向,以保持安全距离。
c.行驶方向控制:根据道路标志、路况等环境信息,实时调整车辆的行驶方向。
d.车辆状态监控:实时将车辆的状态(如速度、电量等)反馈给底盘控制模块。
2.人机驾控模块:
人机驾控模块位于四轮智能冲洗车的内部,与驾驶员紧密交互。它包括驾控面板、操作按钮等设备,负责实时显示车辆的状态信息,如行驶速度、电量的消耗等,便于驾驶员了解车辆的状况。
人机驾控模块的功能包括:
a.实时显示:通过驾控面板,实时显示车辆的行驶速度、电量消耗等信息。
b.操作控制:实现车辆的启动、停止、前进、后退等功能。
c.导航系统:提供地图数据和导航功能,帮助驾驶员了解行驶路线和目的地。
3.底盘控制模块:
底盘控制模块位于四轮智能冲洗车的底部,负责车辆的动力系统、转向系统和制动系统等部件。这些部件共同作用,实现了对车辆的精准控制。
底盘控制模块的功能包括:
a.转向系统:实现车辆的左右转向、上下转弯等功能。通过方向盘、转向柱等部件,实现车辆的转向操作。
b.制动系统:实现车辆的刹车、停车等功能。通过制动系统,实现车辆的减速或停车操作。
c.动力系统:提供车辆前进的动力,控制车辆的速度和燃油消耗。通过发动机、变速器等部件,实现动力传递和控制。
d.声光系统:负责监测和控制车辆的声光系统,包括喇叭、车灯等部件。有助于提高行驶安全性。
4.高压喷水模块:
高压喷水模块位于四轮智能冲洗车的后部,是四轮冲洗车上功能性的一个模块,负责对地面进行冲洗,用于冲洗地面、清除污垢,从而达到保洁效果。
高压喷水模块的功能包括:
a.冲洗功能:高压冲洗跟随车可以将高压水从水箱输送到喷枪,实现对表面的高压冲洗。这种冲洗方式能够有效清除污垢,使被冲洗表面恢复原有的光洁度。
b.压力调节:高压冲洗跟随车可以根据不同的冲洗需求,调节输出压力。在清洗较脏的表面时,可以提高输出压力,以增强冲洗效果。
c.流量控制:高压冲洗跟随车可以控制水的流量,以适应不同的冲洗需求。
d.安全保护:高压冲洗跟随车具有安全保护功能,防止系统超压或发生其他意外情况。当输出压力超过预设值时,高压冲洗跟随车会自动启动安全保护功能,以保证系统的安全运行。
二.硬件描述
智能跟随模块
该环卫车辆的智能跟随模块由这几部分组成双目摄像头、激光雷达、GPS、5G网关和工控机可以协同工作,通过数据采集、融合、传输和指令接收等方式,实现智能跟随模块对环境的感知和决策
1.双目摄像头:双目摄像头可以用于获取环境中的视觉信息,包括物体的位置、距离和运动方向等。它可以通过图像处理算法进行立体视觉分析,提取场景深度和物体位置信息。
2.激光雷达:激光雷达可以用于探测周围环境的物体和障碍物,以获取它们的位置和距离信息。激光雷达可以通过发射电磁波并接收其反射信号来实现物体探测。激光雷达可以安装在智能跟随模块的周围,以实现全向的环境感知。
3.GPS:GPS可以用于获取当前位置的全球定位信息。它可以通过接收卫星信号来确定设备所在的地理坐标,提供准确的位置信息。
4.5G网关:5G网关可以提供高速的无线数据传输和通信连接。它可以将智能跟随模块获取的感知数据传输到云端进行处理,并接收来自云端的指令或数据更新。5G网关作为智能跟随模块的通信接口,实现与云端的数据交互和远程控制。
5.工控机:工控机负责控制和监视整个智能跟随系统的运行,实现数据的融合、传输和指令接收等功能。通过与双目摄像头、激光雷达、GPS和5G网关的协同工作,工控机可以实现对环境的实时感知和决策。
在调配这些硬件时,可以采取以下方式:
1.数据采集:双目摄像头、激光雷达和GPS可以同时进行数据采集,获取环境信息、物体位置和设备位置等数据。
2.数据融合:将双目摄像头、激光雷达和GPS获取的数据通过工控机进行融合,可以得到更全面、准确的环境感知信息。工控机中的数据融合可以通过传感器融合算法实现,将不同传感器的数据进行整合和分析。
3.数据传输:通过5G网关,将采集的数据传输到云端进行处理。这样可以利用云端计算资源进行更复杂的数据处理、目标识别或路径规划等任务。
4.指令接收:5G网关可以接收来自云端的指令或数据更新
人机驾控模块
为了实现驾驶员与自动驾驶系统之间的合作和互动,通过人机共驾操控面板,驾驶员可以参与驾驶过程,了解车辆的状态和环境信息,并在必要时接管车辆的控制权,提供安全可靠的驾驶体验,人机驾控模块一般由驾控面板,物理操作面板等组成。
驾控面板:用于监控和信息显示,面板上可以提供车辆的状态信息、周围环境数据以及导航路线等信息。驾驶员可以通过这些显示屏来监控车辆的运行情况,并获取必要的驾驶信息。还可以根据实际情况提供选择不同驾驶模式的功能,完全自动驾驶、半自动驾驶或手动驾驶。
物理操作面板:在自动驾驶模式下,如果出现紧急情况或驾驶员需要接管车辆控制权,可以提供操作按钮等物理控制元素,让驾驶员能够快速接管车辆的控制,确保安全驾驶。
底盘控制模块
底盘控制模块可以提供对车辆运动的精确控制,包括前进、后退、转弯等功能,它确保了跟随车驾驶品质和安全性。底盘控制模块由:线控转向,线控驱动,线控制动、线控换挡和线控悬架这几个部分。
1.线控转向:转向驱动系统位于四轮智能冲洗车的物理遥控按键部分。转向驱动系统的主要功能是将驾驶员通过方向盘的操作转化为车辆的转向操作,从而实现车辆的左右转弯、上下行驶等行驶动作。转向驱动系统采用电动助力,使得驾驶员能够更轻松地操作方向盘。
2.线控驱动:线控驱动系统位于四轮智能冲洗车的底盘部分,包括变速器、差速器、万向节等部件。线控驱动系统的主要功能是根据转向信号,实时调整车辆的驱动状态,从而实现车辆的加速、减速等操作。线控驱动系统采用电子液力变矩器(EFT)和电子制动系统(EBS),实现车辆的换挡和制动操作。
3.线控制动:线控制动系统位于四轮智能冲洗车的底盘部分,包括制动器、制动盘等部件。线控制动系统的主要功能是根据转向信号,实时控制制动器的开启和关闭,从而实现车辆的制动操作。线控制动系统采用防抱死制动系统(ABS)和电子制动系统(EBS),实现车辆的稳定制动。
4.声光系统:声光系统位于四轮智能冲洗车的车头车尾部分,包括喇叭,前照灯、后照灯,转向灯等部件,提高车辆的警示效果。
高压喷水模块
高压喷水模块其组成部分包括水箱、水泵、水枪、压力传感器等,通过这些组成部分的协同作用,高压喷水模块可以实现对清洗过程的精确控制,以满足不同场景的清洗需求。同时,高压喷水模块具有安全保护功能,如过压保护、漏水保护等,以确保系统的安全运行。此外,高压喷水模块还具有节能功能,降低能耗,提高清洗作业的效率。
水箱:水箱是高压喷水模块的核心部分,用于存储清水清洗液,水箱由不锈钢材料制成,保证清洗液的质量和稳定性。
水泵:水泵负责将清洗液从水箱中抽出,以供给高压喷水枪使用。水泵具有高效能和低噪音的特性,以满足远程清洗的需求。
水枪:水枪是高压喷水模块的输出部分,用于将清洗液喷射到地面上。水枪通常具有旋转和雾化功能,以提高清洗效果。水枪还具有可调节的喷嘴数量和角度,以满足不同场景的清洗需求。
4.压力传感器:压力传感器用于监测高压喷水系统中的压力变化,以确保系统的稳定运行。压力传感器通常具有高精度和快速响应的特性,以满足实时监测的需求。压力传感器可以将压力信号转换为电信号,并通过控制系统进行处理。
三.整车描述
本文介绍了一种基于视觉算法进行识别跟踪的智能跟随冲洗车,携带高压喷水装置,能够自主跟随环卫人员,对道路两侧进行冲洗,主要用于环卫保洁领域。该环卫车辆通过先进的计算机视觉技术和运动控制算法,实现对目标物体的自动跟随功能。该系统由图像采集装置、图像处理单元、运动控制单元和电源单元组成。图像采集装置负责收集环境中的图像信息,将其传输给图像处理单元,图像处理单元使用卷积神经网络(CNN)计算机视觉算法,对图像进行分析和处理,以实现对目标物体的实时识别和定位。运动控制单元根据图像处理单元的输出,控制环卫车辆的运动,使其能够精确地跟随目标物体并保持一定的距离。通过这种技术方案,该跟随环卫车辆能够实现自动化的跟随功能,具有高度的稳定性和准确性。
在使用智能冲洗车的过程中,工作过程概述如下:
1.硬件连接:将双目摄像头、激光雷达和GPS设备正确连接到工控机上。
2.数据采集:使用这些硬件自带的驱动程序,从这些设备设备中获取原始数据。
3.数据预处理:对于每个传感器获取的原始数据,进行必要的预处理以去除噪声和校准数据。
4.数据同步:由于双目摄像头、激光雷达和GPS设备可能具有不同的数据采集速率和时间戳,需要将它们的数据进行同步,以确保它们在相同的时间点上对应。
5.数据融合:使用传感器融合算法,卡尔曼滤波器或扩展卡尔曼滤波器等,将不同传感器的测量结果进行融合,以估计环境的状态和属性。将来自双目摄像头、激光雷达和GPS的数据进行融合,以获得更全面和准确的环境感知信息。
6.状态估计:通过数据融合,可以估计出环境的状态,例如智能冲洗车的位置、速度以及周围障碍物的位置和运动信息等。这些估计值可以用于工控机的路径规划、导航和决策等任务。
7.输出结果:将融合后的环境感知信息输出给工控机的控制系统,以帮助智能冲洗车做出正确的决策和行为。
智能洗地车可以通过获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置;接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务;根据所述起始位置、所述目标位置和所述实时地图,规划导航路径;根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务,能够根据环卫任务识别目标,自行规划行进路径前往执行环卫任务,提高了环卫人员的工作效率。
上述组件包含自动驾驶组件包含工控机、惯性导航、双目相机、激光雷达、gps天线、5G网关、4G路由器、防撞条、摄像头、传感器、can盒、线控底盘等设备。上述设备用于信号的接收、车辆外部物体的识别或感应。所述控制箱连接于工控机,所述自动驾驶组件与控制系统电性连接,且所述自动驾驶组件用于信号的接收、车辆外部物体的识别或感应,所述自动驾驶组件连接于工控机上。
示例性地,can通讯线读取线控底盘数据反馈,控制车辆行驶功能。路由器提供车载网络服务器共享数据,双目相机和雷达进行深度融合定位,做目标检测识别定位功能,gps模块芯片获取车辆gps的车辆位置信息,将gps信号发送到车辆终端,所述通过数据线连接到自动驾驶控制器上进行模块化,数字化。GPS位于车辆水箱上方,空间开阔,能够接收更多的信号,这些设备通过数据线与工控机相相连,工控机与5G网关则安装在车端前部密封空间内部,位于底盘的前端。
在智能跟随冲洗车的设计中,视觉算法、传感器和硬件、自主导航这几个方面相互配合起来,共同实现车辆的智能冲洗功能。
示例性地,视觉算法通过使用深度学习技术,卷积神经网络和目标检测算法,对环卫人员进行识别和跟踪。算法可以通过双目摄像头获取图像输入,并识别出环卫人员的位置和运动轨迹。
示例性地,传感器和硬件模块起到收集环境信息和实施冲洗操作的作用。摄像头和激光传感器被安装在车辆上,用于获取环境信息,如道路情况和障碍物位置。激光传感器可以帮助检测障碍物并测量距离。此外,高压喷水装置包括高压水泵、喷嘴,可以提供足够的喷水压力和流量,以有效地冲洗道路。
示例性地,线控底盘四周均可以设置防撞感应装置,用来保护紧急碰撞驻车功能。
示例性地,高压喷水模块的水枪能够调节水压的高低及出水量的多少。
示例性地,自主导航模块利用地图数据和定位系统,,如GPS或IMU,对智能跟随冲洗车进行定位和路径规划。根据环卫人员的位置和道路情况,自主导航模块确定冲洗车的最佳路径,并使用障碍物检测和避障算法,通过分析传感器数据来避免碰撞和确保行驶安全。
示例性地,冲洗系统根据视觉算法和自主导航模块的输出,控制喷水装置的启停和喷水参数的调节。根据环卫人员的位置和冲洗区域,喷嘴被合理地分布在车辆两侧,以覆盖道路两侧的区域。冲洗系统可以根据需要调整喷水强度和喷水角度,以实现高效的道路冲洗。
以上视觉算法、传感器和硬件、自主导航以及冲洗系统相互协作,使智能跟随冲洗车能够准确地识别环卫人员、实时感知环境、自主导航并执行冲洗操作。这种协同配合使得智能跟随冲洗车能够高效地完成道路冲洗任务,并提高环卫工作的效率和安全性。
本实施例的智能冲洗车可以提高冲洗效率:智能跟随冲洗车利用视觉算法和传感器来准确地识别环卫人员和道路情况,通过自主导航和路径规划找到最佳冲洗路径,从而提高冲洗效率。相比传统的手动冲洗方式,智能跟随冲洗车可以自动执行冲洗操作,减少了人力资源的需求和冲洗时间的浪费。
本实施例的智能冲洗车可以减轻环卫人员的劳动强度:智能跟随冲洗车可以与环卫人员协同工作,自动跟随环卫人员进行冲洗操作,减轻了他们的体力劳动负担。环卫人员只需手持水枪进行冲洗操作,无需推动或操控冲洗车,提高了工作的便捷性和舒适度。
本实施例的智能冲洗车可以提升安全性:智能跟随冲洗车通过自主导航和障碍物检测算法,可以避免与其他车辆或行人发生碰撞,提升了道路冲洗的安全性。此外,通过远程监控和实时反馈机制,操作人员可以随时掌握冲洗车的运行状态,及时发现并解决潜在问题,确保安全可靠的运行
本实施例的智能冲洗车可以智能维护和自诊断:智能跟随冲洗车可以具备自诊断和故障检测的能力,通过传感器和自主导航模块的数据,识别并报告潜在问题和故障。这可以帮助操作人员及时发现和解决问题,减少停机时间,提高可靠性和维护效率。
本发明提供的环卫车辆控制方法和环卫车辆,通过获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置;接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务;根据所述起始位置、所述目标位置和所述实时地图,规划导航路径;根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务,能够根据环卫任务识别目标,自行规划行进路径前往执行环卫任务,提高了环卫人员的工作效率。
本申请还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的实施方式中的方法的步骤。
本申请实施例还提供一种计算机程序产品,计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得计算机执行如上各种可能的实施方式中的方法。
本申请实施例还提供一种芯片,包括存储器和处理器,存储器用于存储计算机程序,处理器用于从存储器中调用并运行计算机程序,使得安装有芯片的设备执行如上各种可能的实施方式中的方法。
可以理解,上述场景仅是作为示例,并不构成对于本申请实施例提供的技术方案的应用场景的限定,本申请的技术方案还可应用于其他场景。例如,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例设备中的单元可以根据实际需要进行合并、划分和删减。
在本申请中,对于相同或相似的术语概念、技术方案和/或应用场景描述,一般只在第一次出现时进行详细描述,后面再重复出现时,为了简洁,一般未再重复阐述,在理解本申请技术方案等内容时,对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等,可以参考其之前的相关详细描述。
在本申请中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本申请技术方案的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本申请记载的范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络,或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、存储盘、磁带)、光介质(例如,DVD),或者半导体介质(例如固态存储盘Solid State Disk(SSD))等。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种环卫车辆控制方法,其特征在于,应用于环卫车辆,包括:
获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置;
接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务;
根据所述起始位置、所述目标位置和所述实时地图,规划导航路径;
根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务。
2.根据权利要求1所述的一种环卫车辆控制方法,其特征在于,所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
确定所述实时地图中的道路区域和障碍物。
3.根据权利要求2所述的一种环卫车辆控制方法,其特征在于,所述环境信息包括图像数据,所述环卫车辆通过双目摄像头获取所述图像数据;所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
对所述摄像头信息进行图像标定,并融合两个单目摄像头或使用视觉加点云的方式获得深度信息;
通过yolov5模型识别视野范围内的目标物体,并基于所述目标物体的特征值,使用图像灰度直方图方式对所述目标物体进行识别和筛选;
根据所述深度信息,利用ByteTrack算法获取所述目标物体的目标位置和当前距离。
4.根据权利要求3所述的一种环卫车辆控制方法,其特征在于,所述图像数据包括双目摄像头拍摄的第一图像和第二图像;所述对所述摄像头信息进行图像标定,并融合两个单目摄像头或使用视觉加点云的方式获得深度信息的步骤包括:
对所述第一图像和第二图像进行图像预处理,所述图像预处理包括滤波降噪和特征点检测;
利用费卢氏距离算法和/或归一化相关匹配算法,在所述第一图像和所述第二图像中找到匹配的特征点对;
根据所述双目摄像头的相机内参和匹配的特征点对坐标,利用三角化原理计算所述双目摄像头的相机间的基线长度;
对每对匹配的特征点,根据所述基线长度计算其在所述第一图像和所述第二图像上的坐标差值,获取视差数据;
根据双目立体匹配算法和/或几何特征与上下文约束算法清除错误匹配的特征点,以进行视差优化。
5.根据权利要求4所述的一种环卫车辆控制方法,其特征在于,所述环境信息包括图像数据、雷达数据和卫星定位数据;所述获取环境信息,根据所述环境信息建立实时地图,并确定所述环卫车辆的起始位置的步骤中包括:
响应于获取所述图像数据、雷达数据和卫星定位数据,分别解析所述图像数据、雷达数据和卫星定位数据的在数据采集过程中的时间戳;
基于所述时间戳,将所述图像数据、雷达数据和卫星定位数据进行同步对齐;
基于预设的传感器数据融合算法,将同步对齐的所述图像数据、雷达数据和卫星定位数据进行融合,以确定所述实时地图中的道路区域和障碍物,并计算所述障碍物的位置和运动信息。
6.根据权利要求5所述的一种环卫车辆控制方法,其特征在于,所述接收任务信息,基于所述实时地图解析所述任务信息,以确定目标位置和环卫任务的步骤中包括:
根据所述任务信息,抽取所述任务信息的任务特征;
根据所述任务特征,在所述实时地图中确定所述目标位置;
基于所述目标位置,从所述环境信息中调取所述目标位置的环境特征;
根据所述环境特征,基于预设的任务执行策略确定对于所述目标位置的环卫任务。
7.根据权利要求6所述的一种环卫车辆控制方法,其特征在于,所述根据所述起始位置、所述目标位置和所述实时地图,规划导航路径的步骤中包括:
基于所述定位信息,确定所述环卫车辆的坐标位置、位姿信息和行进速度;
根据所述坐标位置,确定所述起始位置;
根据所述位姿信息,确定所述环卫车辆的起始方向;
根据所述起始位置和所述目标位置,计算所述导航路径的距离,以调整所述行进速度。
8.根据权利要求1-7任一项所述的一种环卫车辆控制方法,其特征在于,所述根据所述导航路径,控制所述环卫车辆向所述目标位置行进,以执行所述环卫任务的步骤及之前包括:
基于所述环境信息,跟踪识别环卫人员;
以距离所述环卫人员的位置预设距离处为目标位置进行更新,循环规划所述导航路径;
控制所述环卫车辆向循环更新的目标位置行进,以跟随所述环卫人员。
9.根据权利要求8所述的一种环卫车辆控制方法,其特征在于,所述环境信息包括摄像头采集的图像数据;所述基于所述环境信息,跟踪识别环卫人员的步骤包括:
采集多张环卫人员图像训练预先构建的神经网络模型进行训练,以获取目标检测模型;
提取所述图像数据中的环卫人员特征点,基于所述目标检测模型进行特征点匹配,以识别所述环卫人员。
10.一种环卫车辆,其特征在于,所述环卫车辆包括互相连接的处理器和存储介质,其中:
所述存储介质用于存储计算机程序;所述处理器用于读取所述计算机程序并运行,以实现如权利要求1-9任一项所述的环卫车辆控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311868034.8A CN117850420A (zh) | 2023-12-29 | 2023-12-29 | 一种环卫车辆控制方法和环卫车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311868034.8A CN117850420A (zh) | 2023-12-29 | 2023-12-29 | 一种环卫车辆控制方法和环卫车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117850420A true CN117850420A (zh) | 2024-04-09 |
Family
ID=90543321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311868034.8A Pending CN117850420A (zh) | 2023-12-29 | 2023-12-29 | 一种环卫车辆控制方法和环卫车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117850420A (zh) |
-
2023
- 2023-12-29 CN CN202311868034.8A patent/CN117850420A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101998298B1 (ko) | 카메라 및 라이다 센서를 이용한 차량 자율주행방법 | |
US20210294346A1 (en) | Object Action Classification For Autonomous Vehicles | |
CN111045425B (zh) | 一种地面无人车辆的辅助遥操作驾驶方法 | |
CN105009175B (zh) | 基于传感器盲点和局限性来修改自主车辆的行为 | |
JP2022520968A (ja) | 視覚画像データを用いたオブジェクト属性の推定 | |
Kolski et al. | Autonomous driving in structured and unstructured environments | |
CN214151498U (zh) | 一种车辆控制系统及车辆 | |
CN112101128B (zh) | 一种基于多传感器信息融合的无人方程式赛车感知规划方法 | |
CN105759820A (zh) | 基于激光和视觉的道路自主清扫控制系统及控制方法 | |
CN113085896B (zh) | 一种现代有轨清洁车辅助自动驾驶系统及方法 | |
CN113791619B (zh) | 一种机场自动驾驶牵引车调度导航系统及方法 | |
US20220153310A1 (en) | Automatic Annotation of Object Trajectories in Multiple Dimensions | |
KR101510745B1 (ko) | 차량의 무인 자율주행 시스템 | |
CN115781678A (zh) | 智能机器人的垃圾处理方法及系统 | |
CN114383598B (zh) | 一种隧道施工作业车及其自动驾驶系统 | |
CN115903805A (zh) | 面向交通场景人行横道区域的轮式机器人监测方法及系统 | |
JP7462837B2 (ja) | 低信頼度の物体検出条件における車両動作のための注釈及びマッピング | |
US11922703B1 (en) | Generic obstacle detection in drivable area | |
CA3134772A1 (en) | Perception and motion prediction for autonomous devices | |
CN117850420A (zh) | 一种环卫车辆控制方法和环卫车辆 | |
CN115237113B (zh) | 机器人导航的方法、机器人、机器人系统及存储介质 | |
Kemsaram et al. | Architecture design and development of an on-board stereo vision system for cooperative automated vehicles | |
CN111750855B (zh) | 一种视觉主导的自主作业智能振动压路机 | |
JP2021008258A (ja) | スマートオブジェクトの知識の共有 | |
US11628859B1 (en) | Vehicle placement on aerial views for vehicle control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |