CN111037554B - 一种基于机器学习的垃圾清理方法、装置、设备及介质 - Google Patents

一种基于机器学习的垃圾清理方法、装置、设备及介质 Download PDF

Info

Publication number
CN111037554B
CN111037554B CN201911277511.7A CN201911277511A CN111037554B CN 111037554 B CN111037554 B CN 111037554B CN 201911277511 A CN201911277511 A CN 201911277511A CN 111037554 B CN111037554 B CN 111037554B
Authority
CN
China
Prior art keywords
garbage
machine learning
learning model
sample data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911277511.7A
Other languages
English (en)
Other versions
CN111037554A (zh
Inventor
徐承迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Bu Er Technology (Group) Co.,Ltd.
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201911277511.7A priority Critical patent/CN111037554B/zh
Publication of CN111037554A publication Critical patent/CN111037554A/zh
Application granted granted Critical
Publication of CN111037554B publication Critical patent/CN111037554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器学习的垃圾清理方法、装置、设备及介质，所述方法包括获取待清理区域平面规划图，对所述平面规划图进行网格化处理得到待清理区域的网格图；通过无人机拍摄所述待清理区域的航拍图像，根据所述网格图和所述航拍图像得到网格化航拍图像；将所述航拍图像输入预设的垃圾分类模型，得到所述垃圾分类模型输出的垃圾分类信息集，所述垃圾分类信息集中每一条垃圾分类信息均包括垃圾在所述待清理区域的位置信息和所述垃圾的分类结果；根据所述垃圾分类信息集驱动垃圾清理机器人进行垃圾自动清理。本发明尤其适用于空旷的场景中的垃圾自动清理，能非常显著的提升清理效率。

Description

一种基于机器学习的垃圾清理方法、装置、设备及介质
技术领域
本发明涉及垃圾管理领域，尤其涉及一种基于机器学习的垃圾清理方法、装置、设备及介质。
背景技术
垃圾分类是指按一定规定或标准将垃圾分类储存、分类投放和分类搬运，从而转变成公共资源的一系列活动的总称。分类的目的是提高垃圾的资源价值和经济价值，力争物尽其用。现有技术中对于人工进行垃圾分类有较强的依赖，并且基于垃圾分类进行垃圾回收也很大程度上依赖于用户的自觉，对于被随意丢弃的垃圾的自动化清理水平有待提高。
发明内容
为了解决现有技术中存在的技术问题，本发明实施例提供一种基于机器学习的垃圾清理方法、装置、设备及介质。
一种基于机器学习的垃圾清理方法，所述方法包括：
获取待清理区域平面规划图，对所述平面规划图进行网格化处理得到待清理区域的网格图；
通过无人机拍摄所述待清理区域的航拍图像，根据所述网格图和所述航拍图像得到网格化航拍图像；
将所述航拍图像输入预设的垃圾分类模型，得到所述垃圾分类模型输出的垃圾分类信息集，所述垃圾分类信息集中每一条垃圾分类信息均包括垃圾在所述待清理区域的位置信息和所述垃圾的分类结果；
根据所述垃圾分类信息集驱动垃圾清理机器人进行垃圾自动清理。
优选的，所述垃圾分类模型包括垃圾提取子模型和垃圾分类子模型，所述垃圾提取子模型和所述垃圾分类子模型通过图像切片层连接，所述垃圾分类子模型还与垃圾分类信息输出层连接。
优选的，所述垃圾提取子模型的训练方法，包括：
获取样本数据集，所述样本数据集包括正向样本数据子集和反向样本数据子集，所述正向样本数据子集包括多条正向样本数据，所述反向样本数据子集包括多条反向样本数据，所述正向样本为各种垃圾图像，所述反向样本为非垃圾图像；
构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
基于所述当前机器学习模型，对所述样本数据集中的图像是否为垃圾图像进行二值化的判别操作，确定判别结果；
基于所述判别结果和所图像的来源，确定损失值；
当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为所述当前机器学习模型；重复步骤：基于所述当前机器学习模型，对所述样本数据集中的图像是否为垃圾图像进行二值化的判别操作，确定判别结果；
当所述损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述垃圾提取子模型。
优选的，所述图像切片层执行下述动作：
获取所述垃圾提取子模型对所述网格化航拍图像中各个物品的垃圾提取结果。
若所述垃圾提取结果为真，则提取所述物品所在网格的图像为垃圾切片图像，建立所述垃圾切片图像与所述网格的映射关系。
优选的，所述垃圾分类子模型的训练方法，包括：
获取样本数据集，所述样本数据集包括多条样本数据，每条样本数据均包括垃圾图像和所述垃圾图像对应的垃圾分类标记；
构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
基于所述当前机器学习模型，对所述样本数据集中的垃圾图像进行分类操作，确定所述垃圾图像对应的预测分类结果；
基于所述垃圾图像对应的预测分类结果和所述垃圾图像对应的垃圾分类标记，确定损失值；
当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为所述当前机器学习模型；重复步骤：基于所述当前机器学习模型，对所述样本数据集中的垃圾图像进行分类操作，确定所述垃圾图像对应的预测分类结果；
当所述损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述垃圾分类子模型。
优选的，所述垃圾分类信息输出层执行下述动作：
获取所述垃圾分类子模型输出的垃圾切片图像对应的垃圾分类结果；
根据垃圾切片图像与所述网格的对应关系，得到垃圾分类结果与所述网格的映射关系。
一种基于机器学习的垃圾清理装置，所述装置包括：
网格图获取模块，用于获取待清理区域平面规划图，对所述平面规划图进行网格化处理得到待清理区域的网格图；
网格化航拍图像获取模块，用于通过无人机拍摄所述待清理区域的航拍图像，根据所述网格图和所述航拍图像得到网格化航拍图像；
垃圾分类信息集获取模块，用于将所述航拍图像输入预设的垃圾分类模型，得到所述垃圾分类模型输出的垃圾分类信息集，所述垃圾分类信息集中每一条垃圾分类信息均包括垃圾在所述待清理区域的位置信息和所述垃圾的分类结果；
垃圾清理模块，用于根据所述垃圾分类信息集驱动垃圾清理机器人进行垃圾自动清理。
一种计算机存储介质，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现基于机器学习的垃圾清理方法。
一种基于机器学习的垃圾清理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行一种基于机器学习的垃圾清理方法。
本发明提供了一种基于机器学习的垃圾清理方法、装置、设备及介质。本发明实现了垃圾发现、垃圾分类和垃圾清理的全程自动化，尤其适用于空旷的场景中的垃圾自动清理，能非常显著的提升清理效率，并且获得分类好的清理结果，降低了垃圾后处理的压力，具有较好的使用前景。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明提供的一种基于机器学习的垃圾清理方法流程图；
图2是本发明提供的垃圾分类模型示意图；
图3是本发明提供的垃圾提取子模型的训练方法流程图；
图4是本发明提供的垃圾分类子模型的训练方法流程图；
图5是本发明提供的根据所述垃圾分类信息集驱动垃圾清理机器人进行垃圾自动清理流程图；
图6是本发明提供的一种基于机器学习的垃圾清理装置框图；
图7是本发明提供的一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本发明实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明实施例，并不用于限定本发明实施例。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。为了便于理解本发明实施例所述的技术方案及其产生的技术效果，本发明实施例首先对于相关专业名词进行解释：
有鉴于此，本发明实施例提供一种基于机器学习的垃圾清理方法，如图1所示，所述方法可以包括：
S101.获取待清理区域平面规划图，对所述平面规划图进行网格化处理得到待清理区域的网格图。
具体地，所述待清理区域可以是露天停车场、公园或者野外等较为空旷的场地，本发明实施例旨在对于待清理区域进行自动的垃圾分类清理，更为适用于空旷场地，并且网格划分越细越好。
S103.通过无人机拍摄所述待清理区域的航拍图像，根据所述网格图和所述航拍图像得到网格化航拍图像。
待清理区域的网格图中对平面规划图进行了网格划分，而航拍图像与平面规划图一一对应，因此也可以进行相同的网格划分，以得到网格化航拍图像。
垃圾的自动发现是垃圾自动清理的一个必要步骤，通过垃圾自动发现、垃圾自动分类和垃圾自动清理最大程度上降低人工操作，提升垃圾清理效率。
S105.将所述网格化航拍图像输入预设的垃圾分类模型，得到所述垃圾分类模型输出的垃圾分类信息集，所述垃圾分类信息集中每一条垃圾分类信息均包括垃圾在所述待清理区域的位置信息和所述垃圾的分类结果。
具体地，如图2所示，所述垃圾分类模型包括垃圾提取子模型和垃圾分类子模型，所述垃圾提取子模型和所述垃圾分类子模型通过图像切片层连接，所述垃圾分类子模型还与垃圾分类信息输出层连接。
具体地，所述垃圾提取子模型可以通过预设的机器学习模型进行训练得到，其中，所述垃圾提取子模型的训练方法如图3所示，包括：
S2.获取样本数据集，所述样本数据集包括正向样本数据子集和反向样本数据子集，所述正向样本数据子集包括多条正向样本数据，所述反向样本数据子集包括多条反向样本数据，所述正向样本为各种垃圾图像，所述反向样本为非垃圾图像。
具体地，所述反向样本的内容与所述待清理区域相关，不同的待清理区域其反向样本的内容可以不同。比如公园中随出可见的垃圾桶、水井盖以及落地装饰物，这些物品并不是垃圾，因此，应当将这些物品作为反向样本进行训练，以使得垃圾提取子模型可以避免将上述物品识别为垃圾，从而使得本发明实施例中所述基于机器学习的垃圾清理方法可以更为广泛的适用于各种垃圾清理场景之中。
S4.构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
S6.基于所述当前机器学习模型，对所述样本数据集中的图像是否为垃圾图像进行二值化的判别操作，确定判别结果；
S8.基于所述判别结果和所图像的来源，确定损失值；
具体地，所述来源包括正向样本数据子集或反向样本数据子集。
S10.当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为所述当前机器学习模型；重复步骤：基于所述当前机器学习模型，对所述样本数据集中的图像是否为垃圾图像进行二值化的判别操作，确定判别结果；
S12.当所述损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述垃圾提取子模型。
在本发明实施例中，所述垃圾提取子模型可以对所述待清理区域中的网格化航拍图像中的各种物品进行识别以判断其是否为垃圾图像。所述图像切片层用于根据所述垃圾提取子模型的输出结果得到垃圾切片图像，具体地，所述图像切片层执行下述动作：
获取所述垃圾提取子模型对所述网格化网格化航拍图像中各个物品的垃圾提取结果。
若所述垃圾提取结果为真，则提取所述物品所在网格的图像为垃圾切片图像，建立所述垃圾切片图像与所述网格的映射关系。
具体地，所述垃圾子分类模型可以通过预设的机器学习模型进行训练得到，其中，所述垃圾分类子模型的训练方法如图4所示，包括：
S1.获取样本数据集，所述样本数据集包括多条样本数据，每条样本数据均包括垃圾图像和所述垃圾图像对应的垃圾分类标记；
S3.构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
S5.基于所述当前机器学习模型，对所述样本数据集中的垃圾图像进行分类操作，确定所述垃圾图像对应的预测分类结果；
S7.基于所述垃圾图像对应的预测分类结果和所述垃圾图像对应的垃圾分类标记，确定损失值；
S9.当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为所述当前机器学习模型；重复步骤：基于所述当前机器学习模型，对所述样本数据集中的垃圾图像进行分类操作，确定所述垃圾图像对应的预测分类结果；
S11.当所述损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述垃圾分类子模型。
在本发明实施例中，所述垃圾分类子模型对各个垃圾切片图像中的垃圾进行分类，得到分类结果，将所述分类结果传输至垃圾分类信息输出层，所述垃圾分类信息输出层执行下述动作：
获取所述垃圾分类子模型输出的垃圾切片图像对应的垃圾分类结果；
根据垃圾切片图像与所述网格的对应关系，得到垃圾分类结果与所述网格的映射关系。
S107.根据所述垃圾分类信息集驱动垃圾清理机器人进行垃圾自动清理。
具体地，所述根据所述垃圾分类信息集驱动垃圾清理机器人进行垃圾自动清理，如图5所示，包括：
S1071.根据所述垃圾分类信息集和所述网格化航拍图像生成垃圾网格矩阵，所述垃圾网格矩阵中的元素与所述网格化航拍图像中的网格一一对应，所述元素的值对应所述网格指向的垃圾类型。
具体地，在一个可行的实施例中，若元素值为0，则表征所述元素对应的网格中不存在垃圾，若所述元素值不为零，则表征所述元素对应的网格中存在垃圾。
具体地，本发明实施例中可以将垃圾分为干垃圾、湿垃圾、可回收垃圾和有害垃圾，干垃圾、是垃圾、可回收垃圾和有害垃圾分别对应不同的元素值。比如干垃圾所在网格的元素值为1，湿垃圾所在的网格的元素值为2，可回收垃圾所对应的网格值为3，有害垃圾对应的网格值为4。
S1073.将所述垃圾网格矩阵确定为当前垃圾网格矩阵。
S1075.根据所述当前垃圾网格矩阵确定当前有效垃圾网格矩阵，位于所述所述垃圾网格矩阵，并且不位于所述当前有效垃圾网格矩阵的的元素指向的网格中不存在垃圾。
以所述当前垃圾网格矩阵为
Figure BDA0002314954330000091
为例，则当前有效垃圾网格矩阵为
Figure BDA0002314954330000092
S1077.以所述当前有效垃圾网格矩阵的左上角为路径起始点，以所述当前垃圾网格矩阵的右下角为路径终点，规划一条垃圾清理机器人运行路径。
具体地，一条垃圾清理机器人运行路径可以用于垃圾清理机器人在当前有效垃圾网格矩阵的左上角至所述当前有效垃圾网格矩阵的右下角运行一次，并在运行过程中沿运行路径清理掉运行路径所覆盖的网格中的垃圾。当然，在很多场景中，垃圾清理机器人仅仅沿一条运行路径并不能清理掉其它未被规划在所述运行路径中的垃圾，因此，本发明实施例中通过循环驱动的方式，多次执行步骤S1075可以最终到达清理待清理区域中全部垃圾的目的。
为了降低路径规划的难度，提升路径规划算法的鲁棒性，降低人工干预程度，本发明实施例中规定垃圾清理机器人仅仅能够沿网格运行，具体地，可以沿当前网格向右侧网格或向下侧网格运行。在一个可行的实施例中，所述以所述当前有效垃圾网格矩阵的左上角为路径起始点，以所述当前垃圾网格矩阵的右下角为路径终点，规划一条垃圾清理机器人运行路径，包括：
S10771.初始化第一游标i、第二游标j和网格序列，所述第一游标i和所述第二游标j均停留在所述当前有效垃圾网格矩阵的左上角，所述第一游标i用于沿所述当前有效垃圾网格矩阵向下按行运动，所述第二游标j用于沿所述当前有效垃圾网格矩阵向右按列运动。
S10772.判断所述第一游标是否指向所述当前有效垃圾网格的最后一行，若否，则执行步骤S10773，若是，则执行步骤S10779。
S10773.将所述第二游标指向所述当前有效垃圾网格的第一列。
S10774.判断所述第二游标是否指向所述当前有效垃圾网格的最后一列，如否，则执行步骤S10775，若是，则执行步骤S10778。
S10775.若否，则根据所述第一游标i和第二游标j，获取第一目标元素值和第二目标元素值，其中所述第一目标元素值为与元素gij的同行下一列的元素值，所述第二目标元素值为与元素gij的同列下一行的元素值。
元素gij标识所述当前有效垃圾网格矩阵中由第一游标i和第二游标j唯一确定的元素。
S10776.若所述第一目标元素值为非零值，则将所述第一目标元素对应的网格加入所述网格序列；若所述第一目标元素值为0并且所述第二目标元素值为非零值，则将所述第二目标元素对应的网格加入所述网格序列；若所述第一目标元素值为0并且所述第二目标元素值也为0，则将所述第一目标元素对应的网格加入所述网格序列。
S10777.将所述第二游标向右移动一位，重复执行步骤S10774。
S10778.将所述第一游标向下移动一位，重复执行步骤S10772。
S10779.根据所述网格序列生成所述垃圾清理机器人运行路径。
S1079.驱动垃圾清理机器人沿所述一条垃圾清理机器人运行路径运行，清理所述一条垃圾清理机器人运行路径覆盖的网格中的垃圾，将所述当前垃圾网格矩阵中被所述一条垃圾清理机器人运行路径覆盖的网格中的元素值设置为0。
具体地，所述垃圾清理机器人的运行路径中存在垃圾，为了便于对垃圾分类存储，本发明实施例垃圾清理机器人还执行下述动作：
S10791.获取路径网格序列，所述路径网格序列通过网格序列的形式记录所述垃圾清理机器人的运行路径，所述路径网格序列中的网格的值表征所述网格中的垃圾的类别。
具体地，无垃圾网格的值为0，干垃圾所在网格值为1，湿垃圾所在的网格的值为2，可回收垃圾所对应的网格的值为3，有害垃圾对应的网格的值为4。
S10793.所述垃圾清理机器人沿所述路径网格序列行进，并根据网格的值开启对应的回收口。
比如，若所述垃圾清理机器人行进到某个网格，并且网格对应的值为3，则开启可回收垃圾的回收口，以便于将清理出来的垃圾输入可回收垃圾的回收口。
S10711.判断所述当前垃圾网格矩阵中各个元素是否全部为0，若否，则重复执行步骤S1075。
本发明实施例公开的一种基于机器学习的垃圾清理方法实现了垃圾发现、垃圾分类和垃圾清理的全程自动化，尤其适用于空旷的场景中的垃圾自动清理，能非常显著的提升清理效率，并且获得分类好的清理结果，降低了垃圾后处理的压力，具有较好的使用前景。
本发明实施例还公开一种基于机器学习的垃圾清理装置，如图6所示，所述装置包括：
网格图获取模块201，用于获取待清理区域平面规划图，对所述平面规划图进行网格化处理得到待清理区域的网格图；
网格化航拍图像获取模块203，用于通过无人机拍摄所述待清理区域的航拍图像，根据所述网格图和所述航拍图像得到网格化航拍图像；
垃圾分类信息集获取模块205，用于将所述航拍图像输入预设的垃圾分类模型，得到所述垃圾分类模型输出的垃圾分类信息集，所述垃圾分类信息集中每一条垃圾分类信息均包括垃圾在所述待清理区域的位置信息和所述垃圾的分类结果；
垃圾清理模块207，用于根据所述垃圾分类信息集驱动垃圾清理机器人进行垃圾自动清理。
具体地，本发明实施例所述一种基于机器学习的垃圾清理装置与方法实施例均基于相同发明构思。详情请参见方法实施例，在此不再赘述。
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令。所述指令可以适于由处理器加载并执行本发明实施例所述的一种基于机器学习的垃圾清理方法，所述方法请参考方法实施例。
进一步地，图7示出了一种用于实现本发明实施例所提供的方法的设备的硬件结构示意图，所述设备可以参与构成或包含本发明实施例所提供的装置或系统。如图7所示，设备10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图7所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备10还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中所述的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种基于机器学习的垃圾清理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与设备10(或移动设备)的用户界面进行交互。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于机器学习的垃圾清理方法，其特征在于，所述垃圾清理方法包括：获取待清理区域平面规划图，对所述平面规划图进行网格化处理得到待清理区域的网格图；
通过无人机拍摄所述待清理区域的航拍图像，根据所述网格图和所述航拍图像得到网格化航拍图像；将所述航拍图像输入预设的垃圾分类模型，得到所述垃圾分类模型输出的垃圾分类信息集，所述垃圾分类信息集中每一条垃圾分类信息均包括垃圾在所述待清理区域的位置信息和所述垃圾的分类结果；
根据所述垃圾分类信息集驱动垃圾清理机器人进行垃圾自动清理；
所述垃圾分类模型包括垃圾提取子模型和垃圾分类子模型，所述垃圾提取子模型和所述垃圾分类子模型通过图像切片层连接，所述垃圾分类子模型还与垃圾分类信息输出层连接；
所述垃圾提取子模型的训练方法，包括：获取样本数据集，所述样本数据集包括正向样本数据子集和反向样本数据子集，所述正向样本数据子集包括多条正向样本数据，所述反向样本数据子集包括多条反向样本数据，所述正向样本为各种垃圾图像，所述反向样本为非垃圾图像；
构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
基于所述当前机器学习模型，对所述样本数据集中的图像是否为垃圾图像进行二值化的判别操作，确定判别结果；
基于所述判别结果和垃圾图像的来源，确定损失值；
当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为所述当前机器学习模型；重复步骤：基于所述当前机器学习模型，对所述样本数据集中的图像是否为垃圾图像进行二值化的判别操作，确定判别结果；
当所述损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述垃圾提取子模型；
所述图像切片层执行下述动作：
获取所述垃圾提取子模型对所述网格化航拍图像中各个物品的垃圾提取结果；
若所述垃圾提取结果为真，则提取所述物品所在网格的图像为垃圾切片图像，建立所述垃圾切片图像与所述网格的映射关系。
2.根据权利要求1所述的方法，其特征在于，所述垃圾分类子模型的训练方法，包括：获取样本数据集，所述样本数据集包括多条样本数据，每条样本数据均包括垃圾图像和所述垃圾图像对应的垃圾分类标记；
构建预设机器学习模型，将所述预设机器学习模型确定为当前机器学习模型；
基于所述当前机器学习模型，对所述样本数据集中的垃圾图像进行分类操作，确定所述垃圾图像对应的预测分类结果；
基于所述垃圾图像对应的预测分类结果和所述垃圾图像对应的垃圾分类标记，确定损失值；
当所述损失值大于预设阈值时，基于所述损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后的机器学习模型，将所述更新后的机器学习模型重新确定为所述当前机器学习模型；重复步骤：基于所述当前机器学习模型，对所述样本数据集中的垃圾图像进行分类操作，确定所述垃圾图像对应的预测分类结果；
当所述损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述垃圾分类子模型。
3.根据权利要求2所述的方法，其特征在于：所述垃圾分类信息输出层执行下述动作：
获取所述垃圾分类子模型输出的垃圾切片图像对应的垃圾分类结果；
根据垃圾切片图像与所述网格的对应关系，得到垃圾分类结果与所述网格的映射关系。
4.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如权利要求1-3任一项所述的一种基于机器学习的垃圾清理方法。
5.一种基于机器学习的垃圾清理设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行如权利要求1-3任一项所述的一种基于机器学习的垃圾清理方法。
CN201911277511.7A 2019-12-12 2019-12-12 一种基于机器学习的垃圾清理方法、装置、设备及介质 Active CN111037554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911277511.7A CN111037554B (zh) 2019-12-12 2019-12-12 一种基于机器学习的垃圾清理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911277511.7A CN111037554B (zh) 2019-12-12 2019-12-12 一种基于机器学习的垃圾清理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111037554A CN111037554A (zh) 2020-04-21
CN111037554B true CN111037554B (zh) 2021-04-13

Family

ID=70235861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911277511.7A Active CN111037554B (zh) 2019-12-12 2019-12-12 一种基于机器学习的垃圾清理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111037554B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202000016762A1 (it) * 2020-07-09 2022-01-09 M Point Eng S R L Sistema per il monitoraggio di rifiuti in un’area urbana
CN112149507B (zh) * 2020-08-25 2023-01-13 合肥工业大学 基于图像的无人机自主地面污染物推理与定位方法及系统
CN115240094A (zh) * 2021-09-30 2022-10-25 上海仙途智能科技有限公司 一种垃圾检测方法和装置
CN114089656B (zh) * 2021-10-27 2023-08-08 广州大学 基于机器视觉和强化学习的海洋垃圾回收规划方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105744218B (zh) * 2014-12-11 2019-04-26 小米科技有限责任公司 垃圾清理方法及装置
CN109201514B (zh) * 2017-06-30 2019-11-08 京东方科技集团股份有限公司 垃圾分类回收方法、垃圾分类装置以及垃圾分类回收系统
CN109308479B (zh) * 2018-09-20 2021-07-16 云南师范大学 一种基于深度学习的校园垃圾自动分类回收方法
CN109389161B (zh) * 2018-09-28 2021-08-31 广州大学 基于深度学习的垃圾识别进化学习方法、装置、系统及介质
CN110263675B (zh) * 2019-06-03 2024-02-20 武汉联一合立技术有限公司 一种社区安保机器人的垃圾目标识别系统及其识别方法

Also Published As

Publication number Publication date
CN111037554A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN111037554B (zh) 一种基于机器学习的垃圾清理方法、装置、设备及介质
CN110211119B (zh) 图像质量评估方法、装置、电子设备及可读存储介质
CN106951925A (zh) 数据处理方法、装置、服务器及系统
CN110032954A (zh) 一种钢筋智能识别与计数方法及系统
CN112016551B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN111797821B (zh) 文本检测方法、装置、电子设备及计算机存储介质
CN109409377B (zh) 图像中文字的检测方法及装置
CN106295645B (zh) 一种车牌字符识别方法和装置
CN111507226B (zh) 道路图像识别模型建模方法、图像识别方法及电子设备
CN110992231A (zh) 基于路径规划的全自动垃圾处理方法、装置、设备及介质
CN111598176B (zh) 一种图像匹配处理方法及装置
CN111340831A (zh) 点云边缘检测方法和装置
CN108234452B (zh) 一种网络数据包多层协议识别的系统和方法
CN110135422B (zh) 一种密集目标的检测方法和装置
CN111026946A (zh) 一种页面信息抽取方法、装置、介质及设备
CN113378768A (zh) 垃圾桶状态识别方法、装置、设备以及存储介质
CN110929057A (zh) 图像处理方法、装置和系统、存储介质及电子装置
CN112862842A (zh) 图像数据的处理方法和装置、存储介质及电子装置
CN104318251B (zh) 一种相片实时处理方法和装置
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN114638846A (zh) 拾取位姿信息确定方法、装置、设备和计算机可读介质
CN114511753A (zh) 一种目标检测模型的更新方法、装置、设备及存储介质
CN113744253A (zh) 一种基于人工智能图像识别系统
CN111340114A (zh) 图像的匹配方法及装置、存储介质和电子装置
CN114266291A (zh) 聚类集合的确定方法和装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210326

Address after: 225500 No. 126, group 4, Taoyuan community, Luotang street, Jiangyan District, Taizhou City, Jiangsu Province

Applicant after: Luo Dong

Address before: 310052 476, 4 floor, 3 story A building, No. 301, Binxing Road, Changhe street, Binjiang District, Hangzhou, Zhejiang.

Applicant before: HANGZHOU YITU NETWORK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230314

Address after: 1-1-2, 4th Floor, No. 85, Zhongshan 1st Road, Yuzhong District, Chongqing 400000

Patentee after: Chongqing Bu Er Technology (Group) Co.,Ltd.

Address before: 225500 No. 126, group 4, Taoyuan community, Luotang street, Jiangyan District, Taizhou City, Jiangsu Province

Patentee before: Luo Dong

TR01 Transfer of patent right