CN114355907B - 一种基于云端的智能化垃圾识别和清扫方法、系统 - Google Patents
一种基于云端的智能化垃圾识别和清扫方法、系统 Download PDFInfo
- Publication number
- CN114355907B CN114355907B CN202111579004.6A CN202111579004A CN114355907B CN 114355907 B CN114355907 B CN 114355907B CN 202111579004 A CN202111579004 A CN 202111579004A CN 114355907 B CN114355907 B CN 114355907B
- Authority
- CN
- China
- Prior art keywords
- garbage
- unmanned
- cleaning
- target
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000010813 municipal solid waste Substances 0.000 title claims abstract description 262
- 238000004140 cleaning Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 36
- 241001417527 Pempheridae Species 0.000 claims abstract description 93
- 238000001514 detection method Methods 0.000 claims abstract description 48
- 238000010408 sweeping Methods 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 10
- 238000003062 neural network model Methods 0.000 claims description 10
- 230000008447 perception Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 5
- 238000000059 patterning Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 230000000717 retained effect Effects 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 7
- 238000007689 inspection Methods 0.000 abstract description 3
- 238000004064 recycling Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- KUVIULQEHSCUHY-XYWKZLDCSA-N Beclometasone Chemical compound C1CC2=CC(=O)C=C[C@]2(C)[C@]2(Cl)[C@@H]1[C@@H]1C[C@H](C)[C@@](C(=O)COC(=O)CC)(OC(=O)CC)[C@@]1(C)C[C@@H]2O KUVIULQEHSCUHY-XYWKZLDCSA-N 0.000 description 1
- 102100031616 Protein spire homolog 2 Human genes 0.000 description 1
- 101710188832 Protein spire homolog 2 Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 101150008563 spir gene Proteins 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种基于云端的智能化垃圾识别和清扫方法及相关系统。通过用于检测的无人清扫车，实现固定区域垃圾的不间断巡检和分类。通过无人清扫车组，实现垃圾定向的分类处理及回收。通过云端服网络对垃圾分类识别、对用于检测的无人清扫车、无人清扫车数量编组配置进行智能化和高效化的调度，实现垃圾的分类清扫和分类回收转运全过程中无人参与作业，降低设备的用电成本、降低人工成本。
Description
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种智能化的无人清扫车进行垃圾清扫的云端控制方法及系统。
背景技术
一般的无人清扫车由于刷头结构比较简单，仅能对较为平整的表面进行清扫，无法清扫地形较为复杂或者不平整的地面。现有CN113250121A技术为根据点云图像判断所述前方预设区域的地面平整度来控制刷头变形，以提升清扫效果。
过巡检设备对设定区域进行巡逻扫描，确定设定区域内的环境清洁不合格的片区，并向云端服务器发送清扫请求，云端服务器向清扫设备发出地面清扫指令，清扫设备即运行至环境不合格的片区进行清扫；并且在设定区域内分布放置有多个智能垃圾桶，当智能垃圾桶内的垃圾超过设定的阈值之后，向云端服务器发送回收请求，云端服务器根据回收请求向垃圾回收设备发出垃圾回收指令，垃圾回收设备执行垃圾回收指令，回收发出回收请求的智能垃圾桶内的垃圾并清洗垃圾桶内壁，垃圾分拣设备将垃圾回收设备回收的垃圾进行分类拾拣，垃圾打包设备将分拣后的垃圾进行压缩、打包和扎捆处理，最后由垃圾销毁设备进行焚烧发电处理。
其技术缺点如下：
1. 巡检设备无法识别垃圾种类；
2. 云端服务器无法规划清扫路径；
3. 垃圾桶的利用率不高；
4. 垃圾最终处理方案单一。
发明内容
本发明主要目的在于提供一种无缝高效化的垃圾分类清扫、分类回收方法。通过无人用于检测的无人清扫车、无人清扫车组、云端服务器、垃圾回收系统，实现垃圾智能化分类清扫和分类回收。通过识别垃圾种类、垃圾定位及路径规划，实现了无人清扫车组的连续清扫作业和垃圾的分类回收，提升了垃圾清扫和垃圾回收作业效率。其具体技术方案如下所述。
作为第一方面，本发明提供了一种基于云端的智能化垃圾识别和清扫方法，所述步骤包括：
S1，无人清扫车摄像头依据规划路径进入检测区域进行垃圾目标搜寻；
S2，无人清扫车摄像头对检测区域中搜寻到的垃圾目标进行识别，获取垃圾目标的识别信息，发送识别信息及垃圾目标清扫请求至服务器，识别方式主要为通过雷达探测垃圾目标位置；
S3，服务器对识别信息进行数据处理，对被检测到的垃圾目标进行垃圾目标分类、定位标记，根据定位标记规划清扫路径，根据垃圾目标分类选取与其相匹配的无人清扫车信息，调度相应的无人清扫车，并将包括清扫路径和无人清扫车信息的垃圾目标清扫指令发生至无人清扫车，其数据处理方式主要是通过图像采样、分析，对垃圾目标物进行识别；
S4，无人清扫车接收到服务器下发的垃圾目标清扫指令，依照清扫路径到达垃圾目标的定位处，对垃圾目标进行清扫；
S5，无人清扫车向服务器发送定位和返回请求，服务器根据无人清扫车的定位规划返回路径，将包括返回路径的返回指令发送至无人清扫车；
S6，无人清扫车执行返回指令，依照返回路径返回。
结合第一方面，在其可能发生的任意一种情况下的第一种情况为，所述步骤S1包括；
无人清扫车摄像头依据规划路径遍历多个检测区域进行垃圾目标搜寻；
所述步骤S2包括：
无人清扫车摄像头对每个检测区域中搜寻到的多个垃圾目标进行图像识别，分别获取每个垃圾目标的识别信息和位置信息，发送每个垃圾目标的识别信息、位置信息及对应的垃圾目标清扫请求至服务器；
所述步骤S3包括：
服务器整合上述多个垃圾目标各自的识别信息、位置信息进行数据处理，对被检测到的多个垃圾目标分别进行垃圾目标分类、定位标记，根据垃圾目标分类，将同类垃圾目标的定位标记调取至对应集合内，根据该集合内的多个定位标记规划整体清扫路径，选取与垃圾目标分类相匹配的无人清扫车信息，将多个包括整体清扫路径和无人清扫车信息的垃圾目标清扫指令发生至无人清扫车组；主要为将每个检测区域内的垃圾目标进行分类，然后将所有区域的同类垃圾目标的定位汇总形成一个集合，根据集合内的各个定位规划一个路径，保证所有同类垃圾被遍历、清除；
所述步骤S4包括：
无人清扫车组接收到服务器下发的多个垃圾目标清扫指令，依照垃圾目标分类选取相对应的无人清扫车，并向无人清扫车下发整体清扫路径，每个无人清扫车依照各自接收的清扫路径依次到达各个同类垃圾目标的定位处，依次对同类垃圾目标进行清扫；
所述步骤S5包括：
无人清扫车向无人清扫车组发送定位和返回请求，无人清扫车组将定位和返回请求反馈至服务器，服务器根据上报的无人清扫车的定位规划返回路径，将包括返回路径的返回指令发送至无人清扫车组，再下发至所述无人清扫车。
结合第一方面或上述第一种情况，在其可能发生的任意一种情况下的第二种情况为，所述步骤S6包括：无人清扫车执行返回指令，依照返回路径返回并将清扫的垃圾目标排除，排除完毕后无人清扫车自行导航至充电区域进行充电待命。
结合第一方面或上述第一、二种情况，在其可能发生的任意一种情况下的第三种情况为，所述步骤S1中所述的规划路径的规划方法如下：
F1，采用网格对检测区域进行划分为由多个单元格组成，且将每个单元格标记为未知，每个单元格的尺寸为一个粗粒度；
F2，安装有激光扫描仪的无人清扫车从检测区域的外圈的任意一个单元格进入，并实时通过激光扫描仪实时收集单元格的区域信息，在回溯机制的前提下采用螺旋状路径前进，直至无法前进后，将所经过的单元格区域划分为spiral区域；
F3，选取离当前所占单元格最近的一个未知单元格，规划当前无人清扫车所占单元格至最近的一个未知单元格的最短路径，按照最短路径退出当前的spiral区域，无人清扫车进入最近的一个未知单元格；
F4，无人清扫车进入最近的一个未知单元格后，在回溯机制的前提下采用螺旋状路径前进，直至无法前进后，将所经过的单元格区域划分为另一个spiral区域；
F5，循环执行步骤步骤F3至F4，划分出N个spiral区域，直至无未知单元格后，将行进的整个路径作为规划路径。
无人清扫车在行进过程中通过其安装的激光扫描仪对检测区域内的所有未知单元格进行障碍物检测，若在单元格中检测到障碍物，则将此单元格标记为障碍物，从建模中剔除；若在单元格中未检测到障碍物，则将其保留；建模无人清扫车遍历完所有未知单元格后，输出检测区域的建模。
结合第一方面或上述第一、二、三种情况，在其可能发生的任意一种情况下的第四种情况为，步骤S2中所述的图像识别的方法为：
相机数据获取，获取视频数据，从视频数据中获取图像帧，识别图像帧的场景信息；
数据标注，采用垃圾目标检测的方式进行场景信息的标注，以垃圾目标为前景，其他为后景，并为标注提供场景标签，实现场景的分类。
神经网络模型训练，将神经网络模型的下采样的backbone部分削减一个block使用，使下采样倍率变为16倍，并在Head部分中预测结果、detect部分中进行构图，完成神经网络模型训练，其训练步骤如下：
在backbone部分中进行特征提取，步骤如下：通过Focus层提取不同特征，将其提取的特征下发至第一层block1进行4倍下采样，获取下采样数据一；然后下采样数据一下发至第二层block2进行8倍下采样，获取下采样数据二；最后下采样数据二下发至第三层block3，进行16倍下采样，获取下采样数据三；
在Head部分中预测结果，其预测步骤如下：将下采样数据三通过head1进行预测后与下采样数据二进行一次concact特征融合，获取融合特征一，且融合特征一输入head2进行一次预测；head1预测结果与head2预测结果再进行一次concact特征融合，获取融合特征二，且融合特征二进入head3进行一次预测，输出最终的head3预测结果；
在detect部分中进行构图，将head2预测结果导入conv2d卷积神经网络中进行卷积运算，然后通过sigmoid对运算结果进行收敛。将head3预测结果导入另一个conv2d卷积神经网络中进行卷积运算，然后通过sigmoid对运算结果进行收敛，完成神经网络模型训练；
训练完成后，得到神经网络已经训练好的模型权重，所述模型权重为神经网络训练完成的输出结果；
神经网络部署，使用tensorRT将网络模型权重重新构建engine和混合精度优化以实现跨平台和加速，将视频数据输入神经网络，得到垃圾目标的感知结果，并在真实世界坐标中显示垃圾目标结果。
神经网络部署，使用tensorRT将网络模型权重重新构建engine和混合精度优化以实现跨平台和加速，将视频数据输入神经网络，得到垃圾目标的感知结果，并在真实世界坐标中显示垃圾目标结果。
作为第二方面，本发明公开了一种基于云端的智能化垃圾清扫优化系统，其特征在于，所述系统包括：无人清扫车、云端服务器其中：
无人清扫车，用于依据规划路径进入检测区域进行垃圾目标搜寻，对搜寻到的垃圾目标进行图像识别，获取垃圾目标的识别信息，并发送垃圾目标清扫请求，接收下发的清扫指令，依照垃圾目标清扫路线对垃圾目标进行清扫
云端服务器，用于对垃圾目标进行分类、定位，规划垃圾目标清扫路线，并控制无人清扫车依照垃圾目标清扫路线对垃圾目标进行清扫、处理，对整个优化系统进行协同控制。
结合第二方面，在其可能发生的任意种情况下的第三种情况为，所述无人清扫车安装有无人驾驶系统，无人驾驶系统包括激光扫描仪、中央处理模块、惯导模块、无线通讯模块、识别模块和定位模块，其中：
中央处理模块，用于数据处理及向服务器发送清扫请求和返回请求；
惯导模块，用于无人清扫车依据规划路径进行移动；
无线通讯装置，用于同其他模块之间建立通信连接；
车端识别模块，用于对垃圾目标进行图像识别；
车端定位装置，用于确定无人清扫车的位置坐标；
激光扫描仪，用于扫描检测区域，获取障碍物检测距离信息；
所述云端服务器包括中央处理模块、云端识别模块、云端定位模块和路径规划模块，其中：
中央处理模块，用于数据处理及根据无人清扫车发出的清扫请求调度无人清扫车并对其下发清扫指令；
云端识别模块，用于根据无人清扫车识别的垃圾目标信息进行垃圾目标分类；
云端定位模块，用于确定垃圾目标的位置坐标；
路径规划模块，用于根据垃圾目标的位置坐标对无人清扫车进行路线规划。
结合第二方面或上述第三种情况，在其可能发生的任意种情况下的第四种情况为，
所述无人驾驶系统用于依据规划路径进入多个检测区域进行多个垃圾目标搜寻；
所述云端服务器，用于对多个垃圾目标进行分类、定位，将多个垃圾目标分类对应的定位依照类别进行集合，针对每个类别分别规划各自的垃圾目标清扫路线，并控制对应类别的无人清扫车依照垃圾目标清扫路线对垃圾目标进行清扫、处理；
所述系统还包括多个无人清扫车构成的无人清扫车组，云端服务器控制多个无人清扫车，用于根据不同垃圾分类，调度对应的无人清扫车，控制每个无人清扫车依照不同分类所对应的垃圾目标清扫路线，对同一分类里的多个垃圾目标进行清扫。
结合第二方面或上述第三、四种情况，在其可能发生的任意种情况下的第五种情况为，所述云端服务器具有一种存储一个或多个程序的的计算机可读存储介质，所述可读存储介质存储有中央处理模块、云端识别模块、云端定位模块和路径规划模块，所述各模块中的程序指令被云端服务器处理器执行时，完成上述的任意一种方法。
本发明的有益效果是：
1. 实现了固定区域云端垃圾智能检测、垃圾智能分类、垃圾无人清扫和垃圾分类回收的无缝化垃圾分类处理及回收工作，简化了垃圾分类和回收流程。
2. 通过用电接口、控制器、摄像头和垃圾箱的标准化设计，实现了巡逻车、无人清扫车零部件的通用化和互换化，标准垃圾箱体通过防腐蚀防锈处理，保证了不同种类垃圾回收的通用化，以保证该系统能够规模化、产业化。
3. 通过云端对园区的智能片区划分，用于检测的无人清扫车逐一巡逻和垃圾检测数据上传，云端垃圾识别再调度无人清扫车组针对不同垃圾进行分类处理和回收，保证云端能实时监控固定区域的环境卫生情况，并能高效调度无人清扫车组对不同种类垃圾进行分类处理、分类回收，提高了巡逻车和无人清扫车的利用效率，节省电费，减少人工费用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明的系统逻辑图；
图2为本发明的路径规划示意图；
图3为本发明的图像识别方法的逻辑示意图；
图4为本发明的图像识别方法的网络结构示意图；
图5为本发明的无人清扫车结构示意图；
图6为本发明的标准垃圾回收站布局示意图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。显然，所描述的实施例仅仅是本发明的部分实施例。
实施例1
本实施例中以各类垃圾作为垃圾目标，通过用于检测的无人清扫车、无人清扫车组、云端服务器来实施本实施例所述的方法。本发明提供了一种基于云端的智能化垃圾识别和清扫方法，如图1所示，其方法步骤如下：
步骤S1，用于检测的无人清扫车依据规划路径遍历多个检测区域进行垃圾搜寻。
步骤S2，用于检测的无人清扫车对每个检测区域中搜寻到的多个垃圾进行拍照识别，分别获取每个垃圾的照片和垃圾位置，发送每个垃圾的照片、垃圾位置及对应的垃圾清扫请求至云端服务器。
步骤S3，云端服务器整合上述多个垃圾各自的照片、垃圾位置，通过识别模块和定位模块进行数据处理，对被检测到的多个垃圾分别进行垃圾分类、定位标记，根据垃圾分类，将同类垃圾的定位标记调取至对应集合内，路径规划模块根据该集合内的多个定位标记规划最优的整体清扫路径，中央处理模块根据用于检测的无人清扫车发出的清扫请求调度选取与垃圾分类相匹配的无人清扫车，将多个包括整体清扫路径和无人清扫车信息的垃圾清扫指令发生至无人清扫车组。
步骤S4，无人清扫车组接收到云端服务器下发的多个垃圾清扫指令，依照垃圾分类选取相对应的无人清扫车，并向无人清扫车下发整体清扫路径，每个无人清扫车依照各自接收的清扫路径依次到达各个同类垃圾的定位处，依次对同类垃圾进行清扫。
步骤S5，当清扫完毕后，或者检测到无人清扫车内收集的垃圾达到指定重量或体积，则无人清扫车向无人清扫车组发送定位和返回请求，无人清扫车组将定位和返回请求反馈至云端服务器，云端服务器根据上报的无人清扫车的定位规划最优的返回路径，将包括返回路径的返回指令发送至无人清扫车组，再下发至所述无人清扫车。
步骤S6，无人清扫车执行返回指令，依照返回路径返回并将清扫的垃圾倾倒至对应垃圾分类的垃圾回收站，无人清扫车在垃圾回收站内完成垃圾倾泻和清洗后，自行导航至无线充电区域进行充电待命。
其中，所述步骤S1中所述的规划路径的规划方法如下：
F1，采用网格对检测区域进行划分为由多个单元格组成，且将每个单元格标记为未知，每个单元格的尺寸为一个粗粒度；
F2，安装有激光扫描仪的无人清扫车从检测区域的外圈的任意一个单元格进入，并实时通过激光扫描仪实时收集单元格的区域信息，在回溯机制的前提下采用螺旋状路径前进，直至无法前进后，将所经过的单元格区域划分为spiral区域；
F3，选取离当前所占单元格最近的一个未知单元格，规划当前无人清扫车所占单元格至最近的一个未知单元格的最短路径，按照最短路径退出当前的spiral区域，无人清扫车进入最近的一个未知单元格；
F4，无人清扫车进入最近的一个未知单元格，在回溯机制的前提下采用螺旋状路径前进，直至无法前进后，将建模无人清扫车所经过的单元格区域划分为另一个spiral区域；
F5，循环执行步骤步骤F3至F4，每执行一次，划分一个spiral区域，直至无未知单元格后，终止步骤步骤F3至F4的循环，将建模无人清扫车的整个路径作为规划路径。
无人清扫车在行进过程中通过其安装的激光扫描仪对检测区域内的所有未知单元格进行障碍物检测，若在单元格中检测到障碍物，则将此单元格标记为障碍物，从建模中剔除；若在单元格中未检测到障碍物，则将其保留。建模无人清扫车遍历完所有未知单元格后，输出检测区域的建模。
针对实际应用场景，除了支持指定路径的清扫，同时支持指定范围的全覆盖清扫，本发明使用螺旋状路径覆盖简单区域以及基于回溯机制的简单区域链接。随着无人清扫车的移动，逐步建立环境模型，用一个粗粒度的占用网格对地图表面建模，每个正方形单元格的大小与无人清扫车的大小相同。 最开始，所有单元格格都标记为未知，当无人清扫车覆盖了一个单元格，将该单元格称为虚拟障碍物，在检测到障碍物的单元格中，即使这些单元格部分被覆盖，也将其标记为真正的障碍物。从而实现指定区域的全覆盖清扫。
如图2所示，图中黑色单元格为识别到的障碍物，已从模型中剔除。剩余的非黑色的单元格根据螺旋状路径和回溯机制，划分为spiral1-spiral3三个区域。无人清扫车从最左侧的顶部第一个单元格进入，采用螺旋状路径向下一个单元格移动。当无法移动后，将无人清扫车遍历的单元格组成spiral1区域，且无人清扫车根据回溯机制规划无人清扫车至其附近最近的一个未进入单元格之间的最短路径并前往。同理完成spiral2区域和spiral3区域的划分。并且将其无人清扫车的所有路径保存作为规划路径。
其中，针对具体应用场景，如图3所示，本发明步骤S2中所述的无人清扫车的图像识别的方法为：
一、相机数据获取
相机数据采用自动驾驶车辆搭载的视觉设备所获取的视频数据，从视频数据中获取图像帧。相机可安装于车辆前方的任意位置，单次迭代内，相机位置不发生变化，以保障待清扫垃圾目标感知检测的准确性。采用视频数据输出待标注图像帧时，可以通过人工或是其他工具识别出数据的场景信息，如道路的畅通情况，天气情况等无法从单帧图像中获取的信息。
二、数据标注
待清扫垃圾目标标注对于已获取的图像数据采用垃圾目标检测的方式进行标注，以待清扫垃圾目标为前景，其他为后景。除了标注待清扫垃圾目标本身之外，还需要为标注提供场景标签，以实现场景的分类。在不同的场景下，视觉感知的难度完全不同，事先建立好完整的场景分类有助于待清扫垃圾目标感知的精度提升。
在神经网络已完成至少一个迭代后，可以将获取图像的先由已生成的模型输出待清扫垃圾目标的检测结果，再由标注人员进行标注，以加快数据标注进程。
三、神经网络训练
本方案所采用的神经网络结构与传统的其他的用于待清扫垃圾目标检测的神经网络结构最显著的区别在于连接网络backbone层部分。
常见的神经网络通常使用4个连续block完成32倍下采样，来实现待清扫垃圾目标的感知该方法对于近处的待清扫垃圾目标效果较好，但是对于远处的待清扫垃圾目标检测效果不佳。如图4所示，本网络在常见网络结构基础上，在下采样的backbone部分削减一个block使用，使下采样倍率变为16倍，使网络更能够对于小垃圾目标实现较好的检测能力。并在Head部分中预测结果、detect部分中进行构图，完成神经网络模型训练。其训练步骤如下：
如图4所示，在backbone中进行特征提取，步骤如下：通过参数为（3,64,1,1）/2的Focus层提取不同特征。将其提取的特征下发至第一层block1进行4倍下采样，获取下采样数据一；然后下采样数据一下发至第二层block2进行8倍下采样，获取下采样数据二；最后下采样数据二下发至第三层block3，进行16倍下采样，获取下采样数据三。
在Head部分中预测结果，其预测步骤如下：将下采样数据三通过head1进行预测后与下采样数据二进行一次concact特征融合，获取融合特征一，且融合特征一输入head2进行一次预测；head1预测结果与head2预测结果再进行一次concact特征融合，获取融合特征二，且融合特征二进入head3进行一次预测，输出最终的head3预测结果。
在detect部分中进行构图，将head2预测结果导入conv2d卷积神经网络中进行卷积运算，然后通过sigmoid对运算结果进行收敛。将head3预测结果导入另一个conv2d卷积神经网络中进行卷积运算，然后通过sigmoid对运算结果进行收敛，完成神经网络模型训练。
在这一基础上，网络延续了传统使用的神经网络的多尺度特征的融合方式，以保障网络对于不同大小的待清扫垃圾目标垃圾目标的检测能力。
本方案的网络训练和其他神经网络训练没有明显区别，数据输入前都需要经过数据清洗，数据增广。神经网络训练也同样是才用GPU使用反向传播方式训练。
训练完成后，会得到神经网络已经训练好的模型权重，为神经网络训练完成的输出结果。
四、神经网络部署
网络在试验和训练过程中，使用的语言为高级编程语言，并不适应自动驾驶的实时性要求。此外，在自动驾驶车辆上搭载的平台为ARM核心的移动平台，而神经网络的搭建和训练是在标准的x86平台下完成的，因此需要重新部署神经网络以完成平台适应和实时性的适应。
部署需要将神经网络结构代码以C语言形式进行重新编写，使用tensorRT将原有的网络模型权重重新构建engine和混合精度优化以实现跨平台和加速。
移植后的神经网络以ROS接口的形式与车辆的摄像头进行连接，摄像头的输出结果直接输入神经网络，得到待清扫垃圾目标的感知结果，借由标定结果，在真实世界坐标中显示待清扫垃圾目标结果。
本实施例中，垃圾可分为可回收垃圾、厨余垃圾、其他垃圾、有害垃圾四个种类，且每个种类对应一辆如图5所示的无人清扫车和如图6所示垃圾倾倒工位。
本实施例中，无人清扫车的垃圾箱里安装有重量传感模块和体积传感模块，会分别对垃圾箱的有效重量和有效容积进行监测。不同种类垃圾的重量和容积各不相同，当垃圾箱上的重量传感模块和体积传感模块其中一个发出报警信号之后，无人清扫车组即通过中央处理模块向云端服务器发出各自车辆的当前位置数据和返回垃圾回收站的请求。
实施例2
本实施例提供了一种基于云端的智能化垃圾清扫优化系统，所述系统由多个无人清扫车、无人清扫车组、云端服务器、垃圾回收系统四个部分组成。
无人清扫车，用于依据规划路径进入检测区域进行垃圾目标搜寻，对搜寻到的垃圾目标进行图像识别，获取垃圾目标的识别信息，并发送垃圾目标清扫请求，接收下发的清扫指令，依照垃圾目标清扫路线对垃圾目标进行清扫。
所述无人清扫车上的无人驾驶系统包括激光扫描仪、中央处理模块、惯导模块、无线通讯模块、识别模块和定位模块，无人驾驶系统用于依据规划路径进入多个检测区域进行多个垃圾目标搜寻，其中：
中央处理模块，用于数据处理及向服务器发送清扫请求和返回请求；
惯导模块，用于无人清扫车依据规划路径进行移动；
无线通讯装置，用于同其他模块之间建立通信连接；
车端识别模块，用于对垃圾目标进行图像识别；
车端定位装置，用于确定无人清扫车的位置坐标；
激光扫描仪，用于扫描检测区域，获取障碍物检测距离信息。
所述激光扫描仪为LDS激光测距传感器，激光测距传感器以260°/秒的速度扫描单元格，获取障碍物检测距离信息。
云端服务器，用于对多个垃圾目标进行分类、定位，将多个垃圾目标分类对应的定位依照类别进行集合，针对每个类别分别规划各自的垃圾目标清扫路线，并控制对应类别的无人清扫车依照垃圾目标清扫路线对垃圾目标进行清扫、处理，对整个优化系统进行协同控制。
所述云端服务器包括中央处理模块、云端识别模块、云端定位模块和路径规划模块，其中：
中央处理模块，用于数据处理及根据无人清扫车发出的清扫请求调度无人清扫车并对其下发清扫指令；
云端识别模块，用于根据无人清扫车识别的垃圾目标信息进行垃圾目标分类；
云端定位模块，用于确定垃圾目标的位置坐标；
路径规划模块，用于根据垃圾目标的位置坐标对无人清扫车进行路线规划。
无人清扫车组，无人清扫车组控制多个如图5所示无人清扫车，云端服务器控制多个无人清扫车，用于根据不同垃圾分类，调度对应的无人清扫车，控制每个无人清扫车依照不同分类所对应的垃圾目标清扫路线，对同一分类里的多个垃圾目标进行清扫。
垃圾回收系统，用于将无人清扫车运载回来的垃圾进行统一存放，并对无人清扫车进行清洗、充电。如图6所示，其回收系统包括垃圾回收仓、多个垃圾倾倒工位、多个清洗工位以及多个无线充电工位。其中：
垃圾回收仓，用于将所有无人清扫车回收的垃圾进行存放；
垃圾倾倒工位，用于无人清扫车停放倾倒回收的垃圾至垃圾回收仓；
清洗工位，用于对倾倒完的无人清扫车进行清洗；
无线充电工位，工位内包含无线充电模块，用于对清洗完的无人清扫车进行充电。
另外，无人清扫车的垃圾箱内的底部安装有重量传感模块，侧面安装有体积传感模块。其中：
重量传感模块，用于监测无人清扫车清扫的垃圾目标的总重量；
体积传感模块，用于监测无人清扫车清扫的垃圾目标的总体积。
除此之外，垃圾箱的箱体通过垃圾箱翻转机构安装于垃圾箱的可移动托架上，箱体通过可分离的锁止结构与垃圾箱托架延伸出的扶手连接，箱体的前侧设有可翻转的箱盖，通过可分离的锁止结构与箱体进行连接。
本发明中无人清扫车上的无人驾驶系统，包括中央处理模块、惯导模块、无线通讯装置、车端识别模块、车端定位装置等均依据现有汽车自动驾驶控制器以及平行驾驶技术获得。
应理解，上述实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解为在阅读本发明的内容后，本领域技术人员可以对本发明作各种改动和修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
Claims (8)
1.一种基于云端的智能化垃圾识别和清扫方法，其特征在于，包括：
S1，无人清扫车摄像头依据规划路径进入检测区域进行垃圾目标搜寻；
S2，无人清扫车摄像头对检测区域中搜寻到的垃圾目标进行识别，获取垃圾目标的识别信息，发送识别信息及垃圾目标清扫请求至服务器；
S3，服务器对识别信息进行数据处理，对被检测到的垃圾目标进行垃圾目标分类、定位标记，根据定位标记规划清扫路径，根据垃圾目标分类选取与其相匹配的无人清扫车信息，调度相应的无人清扫车，并将包括清扫路径和无人清扫车信息的垃圾目标清扫指令发送至无人清扫车；
S4，无人清扫车接收到服务器下发的垃圾目标清扫指令，依照清扫路径到达垃圾目标的定位处，对垃圾目标进行清扫；
S5，无人清扫车向服务器发送定位和返回请求，服务器根据无人清扫车的定位规划返回路径，将包括返回路径的返回指令发送至无人清扫车；
S6，无人清扫车执行返回指令，依照返回路径返回；
步骤S2中图像识别的方法为：
相机数据获取，获取视频数据，从视频数据中获取图像帧，识别图像帧的场景信息；
数据标注，采用垃圾目标检测的方式进行场景信息的标注，以垃圾目标为前景，其他为后景，并为标注提供场景标签，实现场景的分类；
神经网络模型训练，将神经网络模型的下采样的backbone部分削减一个block使用，使下采样倍率变为16倍，并在Head部分中预测结果、detect部分中进行构图，完成神经网络模型训练，其训练步骤如下：在backbone部分中进行特征提取，步骤如下：通过Focus层提取不同特征，将其提取的特征下发至第一层block1进行4倍下采样，获取下采样数据一；然后下采样数据一下发至第二层block2进行8倍下采样，获取下采样数据二；最后下采样数据二下发至第三层block3，进行16倍下采样，获取下采样数据三；
在Head部分中预测结果，其预测步骤如下：将下采样数据三通过head1进行预测后与下采样数据二进行一次concact特征融合，获取融合特征一，且融合特征一输入head2进行一次预测；head1预测结果与head2预测结果再进行一次concact特征融合，获取融合特征二，且融合特征二进入head3进行一次预测，输出最终的head3预测结果；
在detect部分中进行构图，将head2预测结果导入conv2d卷积神经网络中进行卷积运算，然后通过sigmoid对运算结果进行收敛；将head3预测结果导入另一个conv2d卷积神经网络中进行卷积运算，然后通过sigmoid对运算结果进行收敛，完成神经网络模型训练；
训练完成后，得到神经网络已经训练好的模型权重，所述模型权重为神经网络训练完成的输出结果；
神经网络部署，使用tensorRT将网络模型权重重新构建engine和混合精度优化以实现跨平台和加速，将视频数据输入神经网络，得到垃圾目标的感知结果，并在真实世界坐标中显示垃圾目标结果。
2.根据权利要求1所述的基于云端的智能化垃圾识别和清扫方法，其特征在于，S1包括：无人清扫车摄像头依据规划路径遍历多个检测区域进行垃圾目标搜寻；
所述步骤S2包括：无人清扫车摄像头对每个检测区域中搜寻到的多个垃圾目标进行图像识别，分别获取每个垃圾目标的识别信息和位置信息，发送每个垃圾目标的识别信息、位置信息及对应的垃圾目标清扫请求至服务器；
S3包括：服务器整合上述多个垃圾目标各自的识别信息、位置信息进行数据处理，对被检测到的多个垃圾目标分别进行垃圾目标分类、定位标记，根据垃圾目标分类，将同类垃圾目标的定位标记调取至对应集合内，根据该集合内的多个定位标记规划整体清扫路径，选取与垃圾目标分类相匹配的无人清扫车信息，将多个包括整体清扫路径和无人清扫车信息的垃圾目标清扫指令发生至无人清扫车组；
S4包括：无人清扫车组接收到服务器下发的多个垃圾目标清扫指令，依照垃圾目标分类选取相对应的无人清扫车，并向无人清扫车下发整体清扫路径，每个无人清扫车依照各自接收的清扫路径依次到达各个同类垃圾目标的定位处，依次对同类垃圾目标进行清扫；
S5包括：无人清扫车向无人清扫车组发送定位和返回请求，无人清扫车组将定位和返回请求反馈至服务器，服务器根据上报的无人清扫车的定位规划返回路径，将包括返回路径的返回指令发送至无人清扫车组，再下发至所述无人清扫车。
3.根据权利要求1所述的基于云端的智能化垃圾识别和清扫方法，其特征在于，S6包括：无人清扫车执行返回指令，依照返回路径返回并将清扫的垃圾目标排除，排除完毕后无人清扫车自行导航至充电区域进行充电待命。
4.根据权利要求1所述的基于云端的智能化垃圾识别和清扫方法，其特征在于，S1中所述的规划路径的规划方法如下：
F1，采用网格对检测区域进行划分为由多个单元格组成，且将每个单元格标记为未知，每个单元格的尺寸为一个粗粒度；
F2，安装有激光扫描仪的无人清扫车从检测区域的外圈的任意一个单元格进入，并实时通过激光扫描仪实时收集单元格的区域信息，在回溯机制的前提下采用螺旋状路径前进，直至无法前进后，将所经过的单元格区域划分为spiral区域；
F3，选取离当前所占单元格最近的一个未知单元格，规划当前无人清扫车所占单元格至最近的一个未知单元格的最短路径，按照最短路径退出当前的spiral区域，无人清扫车进入最近的一个未知单元格；
F4，无人清扫车进入最近的一个未知单元格后，在回溯机制的前提下采用螺旋状路径前进，直至无法前进后，将所经过的单元格区域划分为另一个spiral区域；
F5，循环执行步骤步骤F3至F4，划分出N个spiral区域，直至无未知单元格后，将行进的整个路径作为规划路径；
无人清扫车在行进过程中通过其安装的激光扫描仪对检测区域内的所有未知单元格进行障碍物检测，若在单元格中检测到障碍物，则将此单元格标记为障碍物，从建模中剔除；若在单元格中未检测到障碍物，则将其保留；建模无人清扫车遍历完所有未知单元格后，输出检测区域的建模。
5.一种用于实现权利要求1-4任一项所述的基于云端的智能化垃圾识别和清扫方法的基于云端的智能化垃圾清扫优化系统，其特征在于，所述系统包括：无人清扫车、云端服务器其中：
无人清扫车，用于依据规划路径进入检测区域进行垃圾目标搜寻，对搜寻到的垃圾目标进行图像识别，获取垃圾目标的识别信息，并发送垃圾目标清扫请求，接收下发的清扫指令，依照垃圾目标清扫路线对垃圾目标进行清扫；
云端服务器，用于对垃圾目标进行分类、定位，规划垃圾目标清扫路线，并控制无人清扫车依照垃圾目标清扫路线对垃圾目标进行清扫、处理，对整个优化系统进行协同控制。
6.根据权利要求5所述的基于云端的智能化垃圾清扫优化系统，其特征在于，所述优化系统还包括位于无人清扫车上的激光扫描仪、无人驾驶系统、云端服务器，
所述无人清扫车上无人驾驶系统包括中央处理模块、惯导模块、无线通讯模块、识别模块和定位模块，其中：
中央处理模块，用于数据处理及向服务器发送清扫请求和返回请求；
惯导模块，用于无人清扫车依据规划路径进行移动；
无线通讯装置，用于同其他模块之间建立通信连接；
车端识别模块，用于对垃圾目标进行图像识别；
车端定位装置，用于确定无人清扫车的位置坐标；
激光扫描仪，用于扫描检测区域，获取障碍物检测距离信息；
所述云端服务器包括中央处理模块、云端识别模块、云端定位模块和路径规划模块，其中：
中央处理模块，用于数据处理及根据无人清扫车发出的清扫请求调度无人清扫车并对其下发清扫指令；
云端识别模块，用于根据无人清扫车识别的垃圾目标信息进行垃圾目标分类；
云端定位模块，用于确定垃圾目标的位置坐标；
路径规划模块，用于根据垃圾目标的位置坐标对无人清扫车进行路线规划。
7.根据权利要求6所述的基于云端的智能化垃圾清扫优化系统，其特征在于，所述无人驾驶系统用于依据规划路径进入多个检测区域进行多个垃圾目标搜寻；
所述云端服务器，用于对多个垃圾目标进行分类、定位，将多个垃圾目标分类对应的定位依照类别进行集合，针对每个类别分别规划各自的垃圾目标清扫路线，并控制对应类别的无人清扫车依照垃圾目标清扫路线对垃圾目标进行清扫、处理；
所述系统还包括多个无人清扫车构成的无人清扫车组，云端服务器控制多个无人清扫车，用于根据不同垃圾分类，调度对应的无人清扫车，控制每个无人清扫车依照不同分类所对应的垃圾目标清扫路线，对同一分类里的多个垃圾目标进行清扫。
8.根据权利要求5所述的基于云端的智能化垃圾清扫优化系统，其特征在于，所述云端服务器具有一种存储一个或多个程序的的计算机可读存储介质，所述可读存储介质存储有中央处理模块、云端识别模块、云端定位模块和路径规划模块，所述各模块中的程序指令被云端服务器处理器执行时，完成权利要求1至4其中任意一项所述的基于云端的智能化垃圾清扫优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111579004.6A CN114355907B (zh) | 2021-12-22 | 2021-12-22 | 一种基于云端的智能化垃圾识别和清扫方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111579004.6A CN114355907B (zh) | 2021-12-22 | 2021-12-22 | 一种基于云端的智能化垃圾识别和清扫方法、系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114355907A CN114355907A (zh) | 2022-04-15 |
| CN114355907B true CN114355907B (zh) | 2024-01-19 |
Family
ID=81101466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111579004.6A Active CN114355907B (zh) | 2021-12-22 | 2021-12-22 | 一种基于云端的智能化垃圾识别和清扫方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114355907B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114886345B (zh) * | 2022-04-20 | 2023-12-15 | 青岛海尔空调器有限总公司 | 用于扫地机器人控制的方法、装置、系统及存储介质 |
| CN114821283B (zh) * | 2022-06-29 | 2022-09-09 | 山东施卫普环保科技有限公司 | 一种基于视觉感知的清扫车垃圾清扫方法及系统 |
| CN115167475A (zh) * | 2022-08-19 | 2022-10-11 | 智道网联科技(北京)有限公司 | 无人驾驶清扫车的作业调度方法及装置、云控平台、存储介质 |
| CN115147667A (zh) * | 2022-08-31 | 2022-10-04 | 山东省凯麟环保设备股份有限公司 | 面向无人驾驶智能清扫车的垃圾分类方法 |
| CN115412541B (zh) * | 2022-10-27 | 2023-02-10 | 山东凤和凰城市科技有限公司 | 一种基于网络平台的智能地下车库保洁系统 |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678293A (zh) * | 2015-12-30 | 2016-06-15 | 成都数联铭品科技有限公司 | 一种基于cnn-rnn的复杂图像字序列识别方法 |
| CN106447626A (zh) * | 2016-09-07 | 2017-02-22 | 华中科技大学 | 一种基于深度学习的模糊核尺寸估计方法与系统 |
| CN108734717A (zh) * | 2018-04-17 | 2018-11-02 | 西北工业大学 | 基于深度学习的单帧星图背景暗弱目标提取方法 |
| CN108981710A (zh) * | 2018-08-07 | 2018-12-11 | 北京邮电大学 | 一种移动机器人的全覆盖路径规划方法 |
| WO2019051356A1 (en) * | 2017-09-08 | 2019-03-14 | The General Hospital Corporation | SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS |
| CN109540155A (zh) * | 2019-02-01 | 2019-03-29 | 西安全志科技有限公司 | 一种扫地机器人的路径规划与导航方法、计算机装置以及计算机可读存储介质 |
| CN109629490A (zh) * | 2018-12-31 | 2019-04-16 | 广州赛特智能科技有限公司 | 一种园区无人清扫车目标垃圾精确分类与定位系统及方法 |
| CN110427896A (zh) * | 2019-08-07 | 2019-11-08 | 成都理工大学 | 一种基于卷积神经网络的垃圾分类智能系统 |
| CN110456789A (zh) * | 2019-07-23 | 2019-11-15 | 中国矿业大学 | 一种清洁机器人的全覆盖路径规划方法 |
| CN110641881A (zh) * | 2019-09-29 | 2020-01-03 | 北京智行者科技有限公司 | 一种基于无人驾驶的垃圾分类清理方法 |
| CN110703769A (zh) * | 2019-11-12 | 2020-01-17 | 山东交通学院 | 一种基于云平台的自动驾驶清扫车系统及控制方法 |
| CN110781896A (zh) * | 2019-10-17 | 2020-02-11 | 暨南大学 | 一种轨道垃圾识别方法、清洁方法、系统、资源配置方法 |
| CN110884791A (zh) * | 2019-11-28 | 2020-03-17 | 石家庄邮电职业技术学院(中国邮政集团公司培训中心) | 一种基于TensorFlow的视觉垃圾分类系统及分类方法 |
| CN111160186A (zh) * | 2019-12-20 | 2020-05-15 | 上海寒武纪信息科技有限公司 | 智能垃圾分类处理方法及相关产品 |
| CN111360780A (zh) * | 2020-03-20 | 2020-07-03 | 北京工业大学 | 一种基于视觉语义slam的垃圾捡拾机器人 |
| CN111448581A (zh) * | 2017-10-24 | 2020-07-24 | 巴黎欧莱雅公司 | 使用深层神经网络进行图像处理的系统和方法 |
| CN111445368A (zh) * | 2020-03-16 | 2020-07-24 | 五邑大学 | 基于机器视觉与深度学习的垃圾分类方法、装置及设备 |
| CN111891596A (zh) * | 2020-08-19 | 2020-11-06 | 金陵科技学院 | 一种基于物联网的智能垃圾处理系统及垃圾识别系统 |
| CN112241175A (zh) * | 2020-12-21 | 2021-01-19 | 广州赛特智能科技有限公司 | 一种无人清扫车的道路全遍历清扫路径规划方法 |
| CN113377111A (zh) * | 2021-06-30 | 2021-09-10 | 杭州电子科技大学 | 一种无人清扫车的任务调度系统及方法 |
| US11188787B1 (en) * | 2018-09-28 | 2021-11-30 | Apple Inc. | End-to-end room layout estimation |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200150643A1 (en) * | 2018-05-07 | 2020-05-14 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things |
-
2021
- 2021-12-22 CN CN202111579004.6A patent/CN114355907B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678293A (zh) * | 2015-12-30 | 2016-06-15 | 成都数联铭品科技有限公司 | 一种基于cnn-rnn的复杂图像字序列识别方法 |
| CN106447626A (zh) * | 2016-09-07 | 2017-02-22 | 华中科技大学 | 一种基于深度学习的模糊核尺寸估计方法与系统 |
| WO2019051356A1 (en) * | 2017-09-08 | 2019-03-14 | The General Hospital Corporation | SYSTEM AND METHOD FOR AUTOMATICALLY LABELING AND ANNOUNTING NON-STRUCTURED MEDICAL DATA SETS |
| CN111448581A (zh) * | 2017-10-24 | 2020-07-24 | 巴黎欧莱雅公司 | 使用深层神经网络进行图像处理的系统和方法 |
| CN108734717A (zh) * | 2018-04-17 | 2018-11-02 | 西北工业大学 | 基于深度学习的单帧星图背景暗弱目标提取方法 |
| CN108981710A (zh) * | 2018-08-07 | 2018-12-11 | 北京邮电大学 | 一种移动机器人的全覆盖路径规划方法 |
| US11188787B1 (en) * | 2018-09-28 | 2021-11-30 | Apple Inc. | End-to-end room layout estimation |
| CN109629490A (zh) * | 2018-12-31 | 2019-04-16 | 广州赛特智能科技有限公司 | 一种园区无人清扫车目标垃圾精确分类与定位系统及方法 |
| CN109540155A (zh) * | 2019-02-01 | 2019-03-29 | 西安全志科技有限公司 | 一种扫地机器人的路径规划与导航方法、计算机装置以及计算机可读存储介质 |
| CN110456789A (zh) * | 2019-07-23 | 2019-11-15 | 中国矿业大学 | 一种清洁机器人的全覆盖路径规划方法 |
| CN110427896A (zh) * | 2019-08-07 | 2019-11-08 | 成都理工大学 | 一种基于卷积神经网络的垃圾分类智能系统 |
| CN110641881A (zh) * | 2019-09-29 | 2020-01-03 | 北京智行者科技有限公司 | 一种基于无人驾驶的垃圾分类清理方法 |
| CN110781896A (zh) * | 2019-10-17 | 2020-02-11 | 暨南大学 | 一种轨道垃圾识别方法、清洁方法、系统、资源配置方法 |
| CN110703769A (zh) * | 2019-11-12 | 2020-01-17 | 山东交通学院 | 一种基于云平台的自动驾驶清扫车系统及控制方法 |
| CN110884791A (zh) * | 2019-11-28 | 2020-03-17 | 石家庄邮电职业技术学院(中国邮政集团公司培训中心) | 一种基于TensorFlow的视觉垃圾分类系统及分类方法 |
| CN111160186A (zh) * | 2019-12-20 | 2020-05-15 | 上海寒武纪信息科技有限公司 | 智能垃圾分类处理方法及相关产品 |
| CN111445368A (zh) * | 2020-03-16 | 2020-07-24 | 五邑大学 | 基于机器视觉与深度学习的垃圾分类方法、装置及设备 |
| CN111360780A (zh) * | 2020-03-20 | 2020-07-03 | 北京工业大学 | 一种基于视觉语义slam的垃圾捡拾机器人 |
| CN111891596A (zh) * | 2020-08-19 | 2020-11-06 | 金陵科技学院 | 一种基于物联网的智能垃圾处理系统及垃圾识别系统 |
| CN112241175A (zh) * | 2020-12-21 | 2021-01-19 | 广州赛特智能科技有限公司 | 一种无人清扫车的道路全遍历清扫路径规划方法 |
| CN113377111A (zh) * | 2021-06-30 | 2021-09-10 | 杭州电子科技大学 | 一种无人清扫车的任务调度系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| Fire Detection in Infrared Video Surveillance Based on Convolutional Neural Network and SVM;kewei Wang等;2018 IEEE 3rd International Conference on Signal and Image Processing;第162-167页 * |
| 一种多层特征融合的道路场景实时分割方法;周继苗等;测绘通报(第1期);第10-15页 * |
| 基于三维激光雷达的动态障碍物检测和追踪方法;邹斌等;汽车技术(第8期);第19-25页 * |
| 基于卷积神经网络的矿井安全帽佩戴检测;刘欣;张灿明;;电子技术应用(第09期);第44-52页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114355907A (zh) | 2022-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114355907B (zh) | 一种基于云端的智能化垃圾识别和清扫方法、系统 | |
| CN110924340B (zh) | 一种用于智能捡垃圾的移动机器人系统与实现方法 | |
| CN110040396B (zh) | 基于大数据、机器学习的智能垃圾桶自主决策系统与方法 | |
| CN109528089B (zh) | 一种被困清洁机器人的继续行走方法、装置及芯片 | |
| CN110598637B (zh) | 一种基于视觉及深度学习的无人驾驶系统及方法 | |
| CN115605777A (zh) | 一种基于路侧感知单元的动态目标点云快速识别及点云分割方法 | |
| CN111931986A (zh) | 一种垃圾清运车路线优化方法及城市垃圾清运生态系统 | |
| CN112684806A (zh) | 一种基于双重避障和智能识别的电力巡检无人机系统 | |
| CN115661965B (zh) | 一种融合自动机场的公路无人机智能巡检系统 | |
| CN111524228A (zh) | 基于填埋场运营管理的无人机遥感四维建模分析方法 | |
| CN115909092A (zh) | 轻量化输电通道隐患测距方法及隐患预警装置 | |
| CN116846059A (zh) | 一种用于电网巡检和监控的边缘检测系统 | |
| CN114971290A (zh) | 一种基于智慧路灯的园区管理系统及方法 | |
| Kanchana et al. | Computer vision for autonomous driving | |
| CN110921154A (zh) | 一种控制垃圾回收巡逻车的方法、装置及垃圾回收巡逻车 | |
| CN117134703A (zh) | 一种光伏板的清洁方法和清洁系统 | |
| CN116341845A (zh) | 环卫车辆资源自动预警与智能补给方法及系统 | |
| CN115630056A (zh) | 一种基于gps轨迹定位的道路巡查量化考核系统及方法 | |
| CN114844925A (zh) | 无人矿山全域智能监测系统 | |
| CN113092495A (zh) | 一种车地协同的地铁隧道缺陷智能巡检系统及方法 | |
| CN110446106A (zh) | 一种前置摄像头文件的识别方法、电子设备及存储介质 | |
| CN117315407B (zh) | 对象的识别的方法和装置、存储介质及电子装置 | |
| Caballero et al. | Multi‐UAV Systems for Inspection of Industrial and Public Infrastructures | |
| CN117749087B (zh) | 一种实景三维渔光互补光伏电站自主巡检清洁运维系统 | |
| Hu et al. | A self-supervised learning technique for road defects detection based on monocular three-dimensional reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |