CN115240094A - 一种垃圾检测方法和装置 - Google Patents

Abstract

本说明书公开了一种垃圾检测方法和装置。预先将待检测区域划分为至少两个预设区域；所述方法包括：获取针对所述待检测区域拍摄的目标图像；确定所划分的预设区域在所述目标图像中的位置；针对所述目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果；根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域。

Description

一种垃圾检测方法和装置

技术领域

本说明书实施例涉及目标检测领域，尤其涉及一种垃圾检测方法和装置。

背景技术

针对垃圾检测，通常是针对待清扫的区域拍摄图像后，利用垃圾检测技术确定出所拍摄图像中的垃圾，具体可以使用垃圾检测框进行标注。

虽然目前的垃圾检测技术可以检测出图像中的垃圾，却难以进一步确定所检测出的垃圾具体位置，准确度较低。

发明内容

为了解决上述技术问题，本说明书提供了一种垃圾检测方法和装置。技术方案如下所示。

一种垃圾检测方法，预先将待检测区域划分为至少两个预设区域；所述方法包括：

获取针对所述待检测区域拍摄的目标图像；

确定所划分的预设区域在所述目标图像中的位置；

针对所述目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果；

根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域。

一种垃圾检测装置，预先将待检测区域划分为至少两个预设区域；所述装置包括：

获取单元，用于获取针对所述待检测区域拍摄的目标图像；

映射单元，用于确定所划分的预设区域在所述目标图像中的位置；

检测单元，用于针对所述目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果；

定位单元，用于根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域。

上述技术方案，可以通过确定预设区域在目标图像中的位置，从而方便根据目标图像的垃圾检测结果，确定存在垃圾的预设区域，高效、快速、准确地确定出垃圾的位置，减少计算资源的损耗。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的一种垃圾检测方法的流程示意图；

图2是本说明书实施例提供的一种预设区域映射方法的原理示意图；

图3是本说明书实施例提供的一种垃圾区域确定方法的原理示意图；

图4是本说明书实施例提供的一种清扫路线规划的原理示意图；

图5是本说明书实施例提供的一种模型结构的原理示意图；

图6是本说明书实施例提供的另一种清扫路线规划的原理示意图；

图7是本说明书实施例提供的一种垃圾检测装置的结构示意图；

图8是用于配置本说明书实施例方法的一种设备的结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于公开的范围。

目标检测是一种重要的感知技术。例如，在无人驾驶领域，可以针对无人驾驶汽车，检测行驶路线上的障碍物，具体可以包括其他汽车、行人、自行车、摩托车等等，基于检测结果可以作出正确的行驶决策。例如停止，避让或绕行。

其中，目标检测所检测的目标可以是障碍物，也可以是其他物体。例如，垃圾检测。

在一种具体的示例中，可以由无人清扫车针对待清扫的区域进行垃圾检测，检测待清扫区域中的垃圾，从而可以规划无人清扫车的行驶路线，以清扫检测出的垃圾。

针对垃圾检测，通常是针对待清扫的区域拍摄图像后，利用垃圾检测技术确定出所拍摄图像中的垃圾，具体可以使用垃圾检测框进行标注。

虽然目前垃圾检测技术可以检测出图像中的垃圾，却难以进一步确定所检测出的垃圾具体位置，准确度较低。

例如，针对不同大小的纸屑，远处的大块纸屑和近处的小块纸屑，在图像中的大小可能相近，因此难以确定纸屑的位置。

并且，定位障碍物的方法并不适合针对垃圾进行定位。例如，由于障碍物较为显著，例如行人、摩托车等，可以通过激光雷达进行扫描，通过较多的反射信息可以确定障碍物。但许多垃圾较为细小，例如纸屑、落叶等，即使检测出在图像中的位置，使用激光雷达进行扫描，针对纸屑也存在反射信息，从而难以定位纸屑。

为了解决上述技术问题，方便针对垃圾进行定位，本说明书实施例提供了一种垃圾检测方法。

为了方便定位，可以预先针对待检测区域进行划分，可以划分为多个预设区域。在获取针对待检测区域拍摄的图像之后，可以确定预设区域在所拍摄图像中的位置，从而可以在检测出垃圾后，确定存在垃圾的预设区域为垃圾区域。

其中，垃圾区域就是针对垃圾所确定的具体位置。当然，在同一垃圾区域中，可能存在多个垃圾。本方法无需针对每个垃圾确定位置，可以直接将存在垃圾的预设区域确定为垃圾区域，所确定的垃圾区域就是其中包含的每个垃圾的位置。

在一种具体的示例中，确定垃圾区域之后，就可以快速高效地规划清扫路线，以便于无人清扫车沿着清扫路线进行清扫。需要说明的是，无人清扫车需要针对垃圾区域整体进行清扫。

本说明书实施例提供的一种垃圾检测方法，可以通过将待检测区域划分为多个预设区域，并确定预设区域在图像中的位置，方便在检测垃圾之后，进一步在图像中确定存在垃圾的预设区域，从而可以针对垃圾进行定位。定位效率高、速度快、准确率高。

下面结合附图，针对本说明书实施例提供的一种垃圾检测方法进行详细解释。

如图1所示，为本说明书实施例提供的一种垃圾检测方法的流程示意图。其中可以预先将待检测区域划分为至少两个预设区域。

其中，待检测区域可以是需要进行垃圾检测的区域，具体可以是预先设置的一个区域。例如，针对停车场、机场大厅、商场等区域，由于需要进行清扫地面上的垃圾，因此需要先进行垃圾检测，方便之后进行清扫。

针对预设区域，在一种可选的实施例中，可以用于映射到需要进行垃圾检测的图像中，以便于确定检测出的垃圾的位置，即垃圾所在的预设区域，方便后续确定清扫路线。

本方法流程并不限定划分预设区域的方法。可选地，预设区域可以是人工划分的，也可以是设备自动划分的。

在设备自动划分预设区域的情况下，可选地，可以根据一定的尺寸标准进行划分。例如，可以将待检测区域划分为多个网格，不同格子之间大小和形状相同，而每个格子的大小可以根据图像精度、垃圾检测的精度、垃圾评价大小等因素综合确定。当然，也可以直接设定为1平方米。

在一种具体的示例中，可以确定无人清扫车在不移动的情况下的清扫范围，进而可以根据所确定的清扫范围确定格子大小，具体可以使得格子等于或小于所确定的清扫范围，以便于无人清扫车在清扫预设区域时，可以在不移动的情况下清扫完成。

当然，不同预设区域的大小可以相同，也可以不同；不同预设区域的形状可以相同，也可以不同。

在人工划分预设区域的情况下，可选地，可以人工根据待检测区域中的特殊区域进行划分。例如，在待检测区域是停车场的情况下，可以人工将其中包含的每个停车位确定为预设区域，方便后续直接清扫整个停车位，而对于非停车位的区域，具体可以是停车场的过道，可以划分为大小和形状都相同的网格；在待检测区域是存在高低落差的区域的情况下，具体可以是楼梯，可以人工将每层楼梯确定为预设区域。

当然，可选地，具体划分预设区域时，也可以综合人工划分和自动划分的方式进行划分。例如，针对商场，可以由人工将各个商铺内的地面确定为预设区域，再针对商场大厅和过道，利用设备自动划分的方法确定预设区域，具体可以是利用预设大小的网格进行划分，将商场大厅和过道划分为多个1平方米大小的网格，每个网格就是一个预设区域。

可选地，由于预设区域用于确定垃圾的位置，因此，不同预设区域之间可以不存在重合的部分。

该方法可以包括以下步骤。

S101：获取针对待检测区域拍摄的目标图像。

S102：确定所划分的预设区域在目标图像中的位置。

S103：针对目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果。

S104：根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域。

可选地，S102和S103可以并行执行，也可以先后执行，本实施例并不限定S102和S103之间的执行次序。

上述方法流程，可以通过确定预设区域在目标图像中的位置，从而方便根据目标图像的垃圾检测结果，确定存在垃圾的预设区域，高效、快速、准确地确定出垃圾的位置，减少计算资源的损耗。在确定出垃圾的位置之后，可以安排工作人员进行清扫，也可以由无人清扫设备在确定清扫路线后进行清扫。

一、下面针对S101进行详细的解释。

在一种可选的实施例中，S101中的目标图像具体可以是针对待检测区域拍摄的任一图像。

针对拍摄操作，可选地，本方法流程可以应用于任一电子设备中，因此，具体可以是电子设备通过自身配置的摄像装置，针对待检测区域拍摄目标图像；也可以是其他设备针对待检测区域拍摄目标图像，再传输给电子设备执行上述方法流程，进行垃圾检测。

在一种具体的示例中，本方法流程可以应用于无人清扫设备，具体可以是可以移动的无人清扫车。无人清扫设备上可以配置有摄像装置，方便进行垃圾检测，因此，可以由无人清扫设备自身针对待检测区域进行拍摄，获取目标图像。

在另一种具体的示例中，可以由高空摄像头，或者无人机针对待检测区域拍摄目标图像，再将目标图像传输到无人清扫设备进行垃圾检测。无人机具体可以以俯视视角进行拍摄。

因此，可选地，获取针对待检测区域拍摄的目标图像，具体可以包括：获取其他设备针对待检测区域拍摄的目标图像；或者获取自身针对待检测区域拍摄的目标图像。

针对拍摄内容，可选地，由于拍摄角度的不同，所拍摄的目标图像中，可以包含待检测的全部区域，或者待检测的部分区域。在拍摄的目标图像只包含待检测的部分区域的情况下，只能基于目标图像中包含的预设区域，确定垃圾位置。

可选地，可以是将预先针对待检测区域拍摄的图像确定为目标图像，也可以是将实时针对待检测区域拍摄的图像确定为目标图像。

因此，可选地，获取针对待检测区域拍摄的目标图像，具体可以包括：获取针对待检测区域实时拍摄的目标图像；或者获取针对待检测区域预先拍摄的目标图像。

而针对拍摄结果，可选地，目标图像可以是一个或多个。

在垃圾检测的场景中，垃圾本身并不一定是固定在同一位置的，垃圾的位置可能随时会发生变动。例如，废弃易拉罐被人踢开、纸屑和落叶被风吹走等等。

因此，为了方便提高垃圾检测和垃圾定位的准确率，可以获取多张目标图像，以便于根据多张目标图像进行垃圾检测和垃圾定位。

不同的目标图像可以包含待检测区域的不同部分，从而可以覆盖待检测区域的多个部分，也可以从不同角度进行垃圾检测和垃圾定位，提高垃圾检测和垃圾定位的准确率。

具体地，可以获取连续针对待检测区域拍摄的多张图像，也可以获取在预设时间段内针对待检测区域拍摄的多张图像。

因此，可选地，获取针对待检测区域拍摄的目标图像，可以包括：获取针对待检测区域拍摄的多个目标图像；或者获取在预设时间段内针对待检测区域拍摄的多个目标图像；或者获取针对待检测区域连续拍摄的多个目标图像。

在本实施例中，可以通过获取多张目标图像执行本方法流程，提高垃圾检测和垃圾定位的准确率。

二、下面针对S102进行详细的解释。

本方法流程并不限定具体确定预设区域在目标图像中位置的方法。

可选地，可以根据目标图像在针对待检测区域进行拍摄时的位姿，确定出待检测区域映射在目标图像中的位置，进一步可以根据待检测区域中包含的预设区域的实际位置，确定出预设区域映射在目标图像中的位置。

可选地，确定所划分的预设区域在目标图像中的位置，可以包括：确定拍摄目标图像时，摄像装置的位置、高度和拍摄角度；确定待检测区域中每个预设区域的位置；根据摄像装置的位置、高度和拍摄角度，以及每个预设区域的位置，确定每个预设区域在目标图像中的位置。

其中，可选地，根据摄像装置的位置、高度和拍摄角度，可以确定出所拍摄的目标图像边界对应的实际位置，从而可以根据目标图像边界对应的实际位置和预设区域的实际位置之间的位置关系，进一步确定预设区域在目标图像中的位置。

可选地，预设区域的位置也可以通过多个点的位置进行表征，例如，针对矩形的预设区域，可以通过4个顶点的位置表征该预设区域的位置。之后可以根据摄像装置的位置和高度，确定摄像装置在三维空间中的位置，从而可以将用于表征预设区域位置的点与摄像装置连接，进而可以根据拍摄角度确定用于表征预设区域位置的点在所拍摄的目标图像中的位置，从而可以确定出预设区域在目标图像中的位置。

为了便于理解，如图2所示，为本说明书实施例提供的一种预设区域映射方法的原理示意图。其中提供了两种预设区域映射方法。

待检测区域可以被预先划分为4个正方形的预设区域，为了便于描述，图2中仅仅示出针对预设区域1进行映射的情况。为了便于理解，通过坐标表示预设区域1的位置。具体为(0,0)、(0,1)、(1,0)和(1,1)。

在图2中，一种预设区域映射方法，可以是通过摄像装置的俯视视角拍摄待检测区域。其中，摄像装置的位置是(0,0)，高度是2，拍摄角度是90度。因此，针对所拍摄的正方形目标图像1，可以确定出目标图像1的边界对应的实际位置是(2,2)、(2,-2)、(-2,2)和(-2,-2)。

因此，可以根据预设区域1的位置与目标图像1边界的实际位置之间的位置关系，确定出预设区域1在目标图像1中对应的位置。

另一种预设区域映射方法，可以是根据摄像装置的位置和高度，确定摄像装置在三维空间中的位置。具体可以是根据摄像装置的位置(0,-2)和高度1，确定出摄像装置在三维空间中的位置。之后可以根据拍摄角度90度，确定出目标图像2所映射的范围。其中，可以确定实际位置(0,-1)落在目标图像2的其中一个边界上。再连接用于表征预设区域1的位置的每个点与摄像装置在三维空间中的位置，可以确定出用于表征预设区域1的位置的每个点映射在目标图像2中的位置，从而可以确定出预设区域1在目标图像2中的位置。

可选地，确定预设区域在目标图像中的位置，也可以通过其他方式。

例如，可以借助待检测区域中的特征识别出预设区域的位置，具体地，针对利用白线画出的矩形停车位，可以通过识别白线位置确定出预设区域在目标图像中的位置。

本实施例中，可以通过摄像装置的相关信息，确定出摄像装置与待检测区域之间的位置关系，进而准确确定出预设区域在目标图像中的位置，方便后续进行垃圾定位。

在一种可选的实施例中，可以确定出摄像装置在UTM坐标系中的位置，以及确定出预设区域在UTM坐标系中的位置，根据位置之间的关系，确定出预设区域在目标图像中的位置。

三、下面针对S103进行详细的解释。

S103中，主要针对目标图像，利用垃圾检测的方法确定出垃圾检测结果。其中，可以使用预先训练的垃圾检测模型进行检测。

1、预处理。

在利用垃圾检测模型进行检测之前，针对目标图像，需要执行预处理操作。在一种可选的实施例中，预处理操作可以包括缩放、归一化、裁剪等操作。

因此，可选地，可以针对目标图像进行预处理；将预处理结果输入到预先训练的垃圾检测模型，根据垃圾检测模型的输出，确定垃圾检测结果。

可选地，由于确定出预设区域在目标图像中的位置，并且一般情况下，可以只需要预设区域的内容进行垃圾检测和垃圾定位，因此，可以裁剪目标图像，保留目标图像中的预设区域，从而可以减少输入垃圾检测模型的数据量，从而减少计算资源的损耗，提高垃圾检测的效率。

因此，可选地，预处理可以包括：裁剪目标图像，保留目标图像中的预设区域。

当然，可选地，预处理还可以包括：缩放目标图像。通过缩放目标图像可以降低图像的分辨率，减少输入垃圾检测模型的数据量，从而减少计算资源的损耗，提高垃圾检测的效率。

可选地，预处理还可以包括：针对目标图像中RGB通道数据进行归一化处理，从而可以方便后续将预处理结果输入垃圾检测模型，由垃圾检测模型进行检测。

需要注意的是，在无人清扫设备中，通常需要使用无人清扫设备本地的计算资源进行垃圾检测，因此，提高垃圾检测的效率可以使得无人清扫设备提高检测垃圾的速度，并且节约无人清扫设备本地的计算资源。

2、垃圾检测模型。

在一种可选的实施例中，垃圾检测模型具体可以采用深度卷积神经网络进行构建。其中可以包括用于提取图像特征的基础特征网络和用于检测垃圾的检测头部。

可选地，垃圾检测模型的框架可以采用SSD、RetinaNet、CenterNet或者YoLo等框架。其中，具体可以采用YoLov5的框架进行构建。

需要说明的是，针对垃圾检测这一具体场景，存在较多特定问题。具体可以包括：垃圾样本数量较少、垃圾本身较小等问题。因此，可以基于垃圾检测这一具体场景的特点，适应性根据垃圾检测场景的需求，针对垃圾检测模型进行调整。

在一种可选的实施例中，垃圾检测模型本身针对输入的图像数据，可以通过缩放的方式进行特征提取。例如，特征金字塔网络。

但是，在垃圾检测的场景中，由于存在较小的垃圾，例如纸屑、落叶、石子等，这些较小的垃圾映射在目标图像上也较小，如果进一步通过缩放的方式进行特征提取，则很容易使得这些较小垃圾对应的图像特征变得模糊，从而难以检测出来，垃圾检测模型的效果较差。

因此，针对垃圾检测模型，可以限定缩放的程度，使得缩放图像数据时，可以尽量避免损失垃圾对应的图像特征，从而提高垃圾检测模型的效果。

因此，可选地，可以限定缩放图像数据的缩放比例，也可以限定缩放图像数据的分辨率。

可选地，垃圾检测模型至少用于针对目标图像的一个或多个缩放副本进行垃圾检测；其中，任一缩放副本的图像分辨率可以大于预设分辨率，或者缩放比例可以大于预设缩放比例。

在一种具体的实施例中，垃圾检测模型中可以包括特征金字塔网络。

通常的特征金字塔网络中可以包括2、3、4、5层用于通过缩放提取特征。具体地，2层可以用于针对输入的图像数据缩放4倍，3层可以用于针对输入的图像数据缩放8被，4层可以用于针对输入的图像数据缩放16倍，5层可以用于针对输入的图像数据缩放32倍。

而在本实施例中，垃圾检测模型中的特征金字塔网络可以只包含2、3、4层，以便于限定缩放比例，避免损失垃圾的图像特征。

本实施例中，可以通过限定缩放的比例或者缩放后的图像分辨率，避免损失垃圾在目标图像中的图像特征，从而可以提高垃圾检测模型的检测效果，提高垃圾检测的准确率。

在一种可选的实施例中，收集到的图像样本中，包含垃圾的垃圾检测框的数量通常远远少于非垃圾检测框，因此，在训练垃圾检测模型时，训练样本集合中，通常正样本(垃圾检测框)的数量要远少于负样本(非垃圾检测框)。

换言之，在图像样本中，可以评估较多的候选位置，而其中只有少数候选位置包含目标(垃圾)，其他的候选位置都是背景图像，从而会导致负样本远远多于正样本。

为了提高垃圾检测模型的训练效率和垃圾检测准确率，避免被负样本拖累，可选地，可以在构建垃圾检测模型时，引入焦点损失。焦点损失可以针对正负样本分别确定权重，提高数量较少的正样本的权重，而降低数量较多的负样本的权重，从而可以提高垃圾检测模型的训练效率、训练效果和垃圾检测准确率。

可选地，垃圾检测模型中的损失函数可以包括焦点损失。其中焦点损失可以用于增加标注有垃圾检测框标签的图像样本的权重。

在本实施例中，针对垃圾检测场景中样本不均衡的问题，可以通过引入焦点损失提高正样本的权重，以便于提高垃圾检测模型的训练效率、训练效果和垃圾检测准确率。

在一种可选的实施例中，通常标注有垃圾检测框的图像样本难以进行标注，所获取的数量较少，因此，垃圾检测场景中的训练样本数量较少。

由于垃圾检测模型中可以包括基础特征网络，用于提取图像特征。为了提高垃圾检测模型的表征能力，可以引入与垃圾相似的其他标签，用于训练基础特征网络。例如，障碍物。

因此，可选地，垃圾检测模型的训练方法，可以包括：将标注有障碍物检测框标签的图像样本确定为标注有垃圾检测框标签的图像样本，训练垃圾检测模型包括的基础特征网络。

与垃圾检测框相比，障碍物的检测框容易标注，并且应用场景较多，能够获取的样本数量较多，可以用于增加训练基础特征网络的样本数量，提高基础特征网络的表征能力。

在一种具体的示例中，无人清扫设备在检测垃圾的同时，由于也需要进行清扫，因此也需要检测障碍物。因此，可以将障碍物检测框标签和垃圾检测框标签共同用于训练基础特征网络，提高表征能力，之后还可以将相同的基础特征网络用于垃圾检测和障碍物检测，减少计算资源的损耗。

在本实施例中，针对垃圾检测场景中样本数量较少的问题，可以通过引入相似的样本，例如障碍物样本，帮助训练垃圾检测模型的基础特征网络，提高表征能力，从而可以提高垃圾检测模型的检测效果。

3、垃圾检测结果。

在一种可选的实施例中，垃圾检测模型的输出通常包括垃圾检测框，垃圾检测框可以用于标记所检测出的目标图像中的垃圾，并且可以具有置信度，即所标记的图像部分包含垃圾的可信度。

可选地，垃圾检测模型还可以用于针对检测出的垃圾进行种类识别，例如，可以识别出垃圾检测框中包含的垃圾种类，具体可以包括：纸屑、树叶、塑料袋、盒子等。具体地，可以是针对检测出的垃圾检测框，进一步进行垃圾种类的识别。

因此，可选地，垃圾检测模型输出的垃圾检测框还可以具有识别出的垃圾种类。

可选地，在得到垃圾检测模型输出的垃圾检测框的情况下，可以直接将所输出的垃圾检测框确定为垃圾检测结果。

在得到垃圾检测模型输出的垃圾检测框的情况下，可以进一步过滤不可靠或者重复的检测结果，从而提高垃圾检测模型的垃圾检测准确率。

可选地，可以将置信度低于预设置信度的垃圾检测框删除，也可以将相近的垃圾检测框认为是同一垃圾检测框。

在一种可选的实施例中，垃圾检测模型可能针对相同的垃圾输出多个相近的垃圾检测框，为了过滤这些重复的检测结果，可以根据不同垃圾检测框之间的交并比进行过滤。

其中，不同垃圾检测框之间的交并比具体可以是，两个垃圾检测框之间重合的面积，与合并面积之间的比值。

可选地，针对目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果，可以包括：垃圾检测模型的输出为垃圾检测框，所输出的垃圾检测框具有置信度；按照置信度从大到小的顺序，遍历垃圾检测模型输出的垃圾检测框；在当前遍历的垃圾检测框，与任一其他垃圾检测框之间的交并比大于预设交并比的情况下，删除该其他垃圾检测框；遍历结束后，将剩余的垃圾检测框确定为垃圾检测结果。

可选地，其中具体可以是针对当前遍历的垃圾检测框，在置信度小于当前遍历的垃圾检测框的其他垃圾检测框中，计算当前遍历的垃圾检测框与其他垃圾检测框之间的交并比，删除所计算的交并比大于预设交并比的其他垃圾检测框。

可选地，为了提高垃圾检测模型的垃圾检测准确率，可以获取在同一位置针对待检测区域拍摄的多张目标图像，从而可以利用多张目标图像进行多次垃圾检测，综合确定出垃圾检测结果。

具体地，可以是在同一位置针对待检测区域连续拍摄的多张目标图像，也可以是在同一位置针对待检测区域周期性或者不定期拍摄的多张目标图像。

由于是在同一位置拍摄的，因此，可以比对不同目标图像中检测出的垃圾检测框。

如果相同的垃圾检测框在多张目标图像中都被检测出来，则可以将该垃圾检测框确定为垃圾检测结果；如果垃圾检测框只在一张目标图像中的被检测出来，而其他目标图像中都无法检测出来，则可以并不将该垃圾检测框确定为垃圾检测结果。

因此，可选地，如果相同的垃圾检测框在大于第一预设数量的目标图像中被检测出来，则可以将该垃圾检测框确定为垃圾检测结果；如果相同的垃圾检测框只在小于第二预设数量的目标图像中被检测出来，则可以不将该垃圾检测框确定为垃圾检测结果，具体可以删除该垃圾检测框；第二预设数量可以小于第一预设数量。

本实施例通过针对垃圾检测模型的输出进行后处理，具体可以过滤不可靠或者重复的垃圾检测框，从而可以提高垃圾检测模型的垃圾检测准确率。

四、下面针对S104进行详细的解释。

在确定垃圾检测结果的情况下，由于明确了目标图像中包含的垃圾，同时，也已经确定了预设区域在目标图像中的位置，因此，可以直接根据目标图像确定出包含垃圾的预设区域。

具体地，如果任一检测出的垃圾在任一预设区域对应于目标图像中的位置范围内，则可以确定该预设区域包含垃圾。

当然，由于实际的垃圾检测结果可以是垃圾检测框，因此，需要基于垃圾检测框确定垃圾区域。而垃圾检测框可能整体都包含在任一预设区域的位置范围内，也可能位于不同预设区域的位置范围内。具体可以是根据垃圾检测框的中心点或者与预设区域的重合度确定垃圾区域。

在一种可选的实施例中，垃圾检测结果为垃圾检测框，根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域，可以包括：将任一垃圾检测框的中心点所在的预设区域，确定为垃圾区域；或者将与任一垃圾检测框的重合度满足预设重合条件的预设区域，确定为垃圾区域。

其中，可选地，预设重合条件可以包括：重合度大于预设重合度，或者重合度最高。

为了便于理解，如图3所示，为本说明书实施例提供的一种垃圾区域确定方法的原理示意图。

其中包括4个预设区域映射在目标图像中的位置范围和2个垃圾检测框，分别是预设区域1-4和垃圾检测框1-2。其中预设区域通过数字标注出预设区域1-4。

显然，由于垃圾检测框1的中心点位于预设区域2，可以确定预设区域2中存在垃圾，预设区域2为垃圾区域。垃圾检测框2的中心点为了预设区域3，可以确定预设区域3中存在垃圾，预设区域3为垃圾区域。

在本实施例中，可以基于预设区域在目标图像中映射的位置，结合检测出的垃圾检测框，确定出存在垃圾的预设区域，高效快速准确地针对检测出的垃圾进行定位，方便后续的清扫路线规划，节约计算资源，提高计算效率。

在一种可选的实施例中，为了提高垃圾区域的确定准确率，可以根据多张目标图像的垃圾检测结果，综合确定出垃圾区域。

因此，可选地，获取针对待检测区域拍摄的目标图像，可以包括：获取针对待检测区域拍摄的多个目标图像；或者获取在预设时间段内针对待检测区域拍摄的多个目标图像；或者获取针对待检测区域连续拍摄的多个目标图像。

当然，所获取的多个目标图像并不一定是在同一位置拍摄的，可以分别包含待检测区域的不同部分。

而如果任一预设区域只在一张目标图像中检测到存在垃圾，在其他目标图像中并未检测到存在垃圾，那么可能这一检测结果有误，或者垃圾位置发生了变化，因此，可以并不将该预设区域确定为垃圾区域。

如果任一预设区域在多张目标图像中都检测到存在垃圾，这些多张目标图像可以是从不同位置针对待检测区域拍摄得到的。那么，该预设区域很可能存在垃圾，可以将该预设区域确定为垃圾区域。

相对应的，根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域，可以包括：如果任一预设区域在针对预设图像数量的目标图像确定的垃圾检测结果中，都存在垃圾，则可以将该预设区域确定为垃圾区域。

本实施例中，可以通过多张目标图像的垃圾检测结果，提高垃圾区域的准确率。

在无人清扫设备中，可以通过上述实施例，确定出预设区域在目标图像中的位置，进而方便针对检测出的垃圾进行定位，也方便后续无人清扫设备规划清扫路线，针对检测出的垃圾进行清扫。

五、此外，上述方法流程中还可以进一步确定清扫路线。

在一种可选的实施例中，检测出垃圾并且确定垃圾位置之后，可以针对检测出的垃圾进行清扫。

例如，无人清扫设备可以基于本地的计算资源，进行垃圾检测和垃圾定位，并确定清扫路线后进行移动和清扫。

因此，可选地，本方法流程还可以包括S105：确定待清扫的垃圾区域，并根据待清扫的垃圾区域确定清扫路线。

可选地，所确定的清扫路线可以包括待清扫的垃圾区域。

其中，S105可以在确定垃圾区域之后执行，具体可以是在S104之后执行。

在确定垃圾区域之后，通常需要由清扫设备进行清扫，规划清扫路线。而规划清扫路线，就需要确定待清扫的垃圾区域。

其中，待清扫的垃圾区域，具体可以是之后需要进行清扫的垃圾区域。

可选地，可以将每个确定的垃圾区域确定为待清扫的垃圾区域。

可选地，也可以将符合要求的垃圾区域确定为待清扫的垃圾区域。换言之，可能存在不符合要求的垃圾区域，暂时不需要清扫，也就并不需要在规划清扫路线时考虑。

例如，当预设区域停车位上检测到有汽车停留，即使确定该停车位中包含垃圾，也因为汽车这一障碍物而无法进行清扫，从而可以并不将该预设区域停车为确定为待清扫的垃圾区域。

当然，可选地，可以将包含垃圾数量较多的垃圾区域确定为待清扫的垃圾区域，也可以将包含特定垃圾种类的垃圾区域确定为待清扫的垃圾区域。

在一种可选的实施例中，所确定的垃圾区域需要整体被清扫。

而根据待清扫的垃圾区域，确定清扫路线，可选地，具体可以是确定出一条经过全部待清扫的垃圾区域的路线。

可选地，可以从任一待清扫的垃圾区域出发，从距离最近的其他待清扫的垃圾区域中随机选择一个未经过的垃圾区域，向所选择的垃圾区域移动，并进行整体清扫。

为了便于理解，如图4所示，为本说明书实施例提供的一种清扫路线规划的原理示意图。其中包含预设区域1-9，每个预设区域通过包含的数字标注，而预设区域1、3、4、9被确定为垃圾区域。

从预设区域1出发，可以确定距离最近的预设区域4，向预设区域4移动；之后由于预设区域4与预设区域3和9之间的距离相同，因此，可以随机选择预设区域3，向预设区域3移动，再向预设区域9移动。

从而可以得到清扫路线。

在本实施例中，可以基于垃圾定位确定的出垃圾所在的垃圾区域，快速高效地确定出清扫路线，避免计算资源的损耗。尤其是在无人清扫设备中，可以节约无人清扫设备本地的计算资源。

除了清扫路线，在进行清扫时，在一种可选的实施例中，也可以针对不同种类的垃圾，确定不同的清扫方式。

需要说明的是，针对细小的垃圾，例如纸屑、树叶等，通常可以采用风力吸取的方式进行清扫，而针对较大的垃圾，例如盒子、易拉罐等，通常可以采用工具，例如扫帚等，进行清扫。

因此，具体在进行清扫时，可以根据垃圾检测模型识别出的垃圾种类，对应确定清扫方式。

因此，可选地，上述方法流程还可以包括：获取垃圾种类与清扫方式的对应关系；根据所确定的垃圾检测结果，确定垃圾区域中包含垃圾的种类；垃圾检测模型还可以用于检测垃圾种类；根据任一垃圾区域中包含垃圾的种类，确定对应的清扫方式。

其中，由于垃圾区域中包含垃圾的种类可以是一个或多个，因此，可能确定出一个或多个对应的清扫方式。

可选地，不同清扫方式之间可以具有优先级，从而可以选择优先级最高的清扫方式；可选地，可以按照每种确定出的清扫方式清扫一遍，提高清扫效果。

本实施例可以根据垃圾检测模型检测出的垃圾种类，确定出对应的清扫方式，从而可以方便后续的清扫，使得垃圾的清扫更加方便彻底。

针对无人清扫设备，可以预先在垃圾检测和垃圾定位之后，针对每个垃圾区域中包含的垃圾种类，快速高效地确定出清扫方式，从而可以在无人清扫设备具体清扫任一垃圾区域时，使用对应的清扫方式进行清扫，提高清扫效率。

六、上述方法流程中，还可以进一步确定障碍物。

在进行垃圾检测的情况下，如果使用无人清扫设备清扫检测的垃圾，则通常也需要检测障碍物，从而在清扫检测出的垃圾的同时，避让检测出的障碍物。

例如，针对无人清扫车，在清扫垃圾的同时，也需要避让障碍物。因此，无人清扫车针对需要清扫的区域，既需要进行垃圾检测，也需要进行障碍物检测。

障碍物检测的方法有很多种，本方法流程并不限定具体的障碍物检测方法。

可选地，障碍物检测可以使用目标检测，针对目标图像利用障碍物检测模型确定其中的障碍物；也可以使用激光雷达等进行扫描等等。

在一种可选的实施例中，可以使用多种障碍物检测的方法，并将多种障碍物检测方法的检测结果综合起来，用于确定存在障碍物的预设区域，即障碍区域，以便于无人清扫设备避让障碍区域。

可选地，可以将多种障碍物检测方法的检测结果，都作为障碍物检测结果，确定障碍区域。

其中，可选地，使用激光雷达扫描障碍物，可以是针对激光雷达获取的点云数据，确定存在障碍物的预设区域。

具体可以是针对激光雷达获取的点云数据，根据地平面拟合方法获取地平面点，把其余点作为障碍物点。然后通过投影公式把三维的障碍物点云投影到目标图像中，对预设区域统计障碍物点的数量，大于阈值就认为是存在障碍物的障碍区域。

可选地，可以基于图像，利用目标检测的方法确定出障碍物。

因此，可选地，可以把基于图像和点云数据的障碍物检测结果进行融合，确定出合并后的障碍物检测结果，从而方便确定存在障碍物的障碍区域。

而障碍物检测与垃圾检测的执行次序，可以是并行执行，也可以是先后执行。本实施例并不限定。

在一种可选的实施例中，可以在障碍物检测之后，根据障碍物检测结果，针对检测出的障碍物进行定位，具体可以是将存在障碍物的预设区域确定为障碍区域。障碍区域具体可以是存在障碍物的预设区域。

可选地，障碍区域和垃圾区域的确定可以并行执行，也可以先后执行，本实施例并不限定。

其中，由于垃圾区域的确定是定位检测出的垃圾，而通常定位检测出的垃圾是用于规划清扫路线，并且，障碍区域通常需要避让，因此，可以根据确定的垃圾区域和障碍区域，确定出清扫路线，所确定的清扫路线可以经过需要清扫的垃圾区域，并且不会经过任一障碍区域。

例如，针对停车场中包含的5个停车位1-5，确定其中停车位1、3上停留有汽车，停车位2、4、5上存在垃圾。因此，可以确定停车位1和3是障碍区域，停车位2、4和5是垃圾区域。可以规划清扫路线为停车位2到停车位4再到停车位5，每个停车位都需要整体清扫。

此外，可选地，可能存在预设区域，既被确定为垃圾区域，也被确定为障碍区域。

从垃圾检测的角度考虑，可以将预设区域既确定为垃圾区域，也确定为障碍区域。

但从清扫路线规划的角度考虑，由于清扫路线既需要经过垃圾区域，又需要避让障碍区域，因此存在矛盾。

为了解决这一矛盾，其中障碍物，例如汽车、行人，都难以进行移动，因此，在规划清扫路线时，可以并不考虑被确定为障碍区域的垃圾区域。

换言之，确定需要清扫的垃圾区域，具体可以包括：将非障碍区域的垃圾区域，确定为需要清扫的垃圾区域，从而可以只针对非障碍区域的垃圾区域规划清扫路线。

当然，也可以在确定垃圾区域时，根据事先确定的障碍区域，将存在垃圾、并且属于非障碍区域的预设区域，确定为垃圾区域。

因此，可选地，上述方法流程还可以包括S106：检测待检测区域中的障碍物，将存在障碍物的预设区域确定为障碍区域。

可选地，根据所确定的垃圾检测结果，将检测到存在垃圾的预设区域确定为垃圾区域，可以包括：根据所确定的垃圾检测结果，将检测到存在垃圾的非障碍区域确定为垃圾区域。

可选地，确定待清扫的垃圾区域，可以包括：将非障碍区域的垃圾区域，确定为需要清扫的垃圾区域。

可选地，在规划清扫路线时，也可以确定出属于障碍区域的垃圾区域，和非障碍区域的垃圾区域，从而可以根据非障碍区域的垃圾区域确定清扫路线，使得规划的清扫路线包括非障碍区域的垃圾区域，而不包括属于障碍区域的垃圾区域，也不会包括任一障碍区域。

上述实施例中，可以进一步结合障碍物检测，帮助规划清扫路线，提高垃圾清扫效率。

当然，可选地，也可以在确定出障碍区域之后，直接删除目标图像中障碍区域包含的图像内容，针对删除后的目标图像进行垃圾检测，可以节约计算资源。

在一种可选的实施例中，障碍物检测可以是通过目标检测的方法执行的。因此，检测待检测区域中的障碍物，可以包括：针对目标图像，利用预先训练的障碍物检测模型确定障碍物检测结果。

其中，可选地，为了节约计算资源，由于障碍物检测和垃圾检测通常都需要针对目标图像提取图像特征，因此，在训练障碍物检测模型和垃圾检测模型时，可选地，可以使用标注有障碍物检测框标签的图像样本，以及标注有垃圾检测框标签的图像样本，共同训练障碍物检测模型和垃圾检测模型的基础特征网络，得到相同的基础特征网络，从而可以提高基础特征网络的表征能力，提高障碍物检测模型和垃圾检测模型的训练效果，还可以节约计算资源。

当然，可选地，针对障碍物检测模型的检测头部，需要只利用标注有障碍物检测框标签的图像样本进行训练，而基础特征网络的参数可以固定不变。

因此，可选地，障碍物检测模型和垃圾检测模型包括的基础特征网络采用相同的训练样本集合进行训练，训练得到的基础特征网络相同。训练样本集合可以包括：标注有障碍物检测框标签的图像样本，以及标注有垃圾检测框标签的图像样本。

需要说明的是，本说明书实施例中的垃圾检测模型，可以通过采集不同场景不同垃圾的数据进行训练，并在检测头部输出垃圾检测框和垃圾类别。

为了减少模型计算资源的损耗和提高计算速度，同时减少对训练数据的要求，在一种可选的实施例中，可以采用和障碍物检测模型共享基础特征网络，但独立训练检测头部的方法。

为了便于理解，如图5所示，为本说明书实施例提供的一种模型结构的原理示意图。其中障碍物检测模型和垃圾检测模型共享基础特征网络。使得目标图像在进行垃圾检测和障碍物检测时，可以只执行一次基础特征网络的特征提取，无需分别执行，从而可以节约计算资源，提高计算速度和效率。

一方面基础特征网络在深度学习模型中占用了最多的计算资源，共享这一部分的计算可以大大减少计算资源损耗。

另一方面障碍物检测和垃圾检测都在同一场景中进行，只是检测目标不一样，所以很多用于检测的基础特征是可以共用的。

并且，由于障碍物的数据相比垃圾的数据更容易得到，其训练数据数量远远大于垃圾检测训练数据。因此共享的基础特征也可以大大减少了对于垃圾检测单独训练数据的需求，以更快的达到目标精度。

具体训练共享基础特征网络的检测模型方式是：在障碍物和垃圾检测数据上一起训练一个检测模型，来获得共同的基础特征网络参数。

具体可以将障碍物检测框标签和垃圾检测框标签，都视为目标检测框标签，用于训练一个检测模型，获取其中的基础特征网络参数。

之后，可以基于所获取的基础特征网络参数，分别构建垃圾检测模型和障碍物检测模型，其中的基础特征网络参数可以在训练过程中固定不变，利用障碍物数据训练障碍物检测模型的检测头部，利用垃圾检测数据训练垃圾检测模型的检测头部。

在一种可选的实施例中，在确定了需要避让的障碍区域后，可以进一步确定出更准确更合适的清扫路线。

可选地，上述方法流程还可以包括：确定需要进行清扫的垃圾区域和需要避让的障碍区域，基于所确定的垃圾区域和障碍区域确定清扫路线。

为了便于理解，如图6所示，为本说明书实施例提供的另一种清扫路线规划的原理示意图。

其中包含预设区域1-9，每个预设区域通过包含的数字标注，预设区域1、3、4、9被确定为垃圾区域，预设区域5和6被确定为障碍区域。

从预设区域1出发，可以确定距离最近的预设区域4，向预设区域4移动；之后由于预设区域4与预设区域3和9之间的距离相同，因此，可以随机选择预设区域3，向预设区域3移动，由于从预设区域4直线向预设区域3移动，会经过预设区域5(障碍区域)，因此，可以通过预设区域1和2进行绕行。

再向预设区域9移动，由于预设区域5和6是障碍区域，因此，可以从预设区域6外进行绕行，从而可以得到清扫路线。

为了便于理解，本说明书实施例还提供了一种应用实施例。其中针对无人清扫设备进行解释。

无人清扫设备可以通过自身配置的摄像装置，针对待检测的区域进行拍摄，得到目标图像。待检测的区域可以是商场大厅。待检测的区域被预先划分为多个预设区域，每个预设区域都是商场大厅中的一块正方形地砖。

无人清扫设备可以进行垃圾检测，同时可以进行障碍物检测，具体可以是将目标图像输入基础特征网络，再将基础特征网络输出的图像特征，分别输入到垃圾检测模型中的检测头部和障碍物检测模型中的检测头部，确定垃圾检测结果和障碍物检测结果。障碍物具体可以是行人、货物等。

此外，无人清扫设备还可以确定待检测区域中的预设区域在目标图像中的位置，具体可以是确定商场大厅中的正方形地砖在目标图像中的位置。

结合正方形地砖在目标图像中的位置，以及检测出的垃圾和障碍物，无人清扫设备可以确定出存在垃圾的正方形地砖，以及存在障碍物的正方形地砖，进而可以规划清扫路线，避让存在障碍物的正方形地砖，清扫存在垃圾的正方形地砖。

上述方法流程中，可以基于预设区域的位置映射，具体可以是地图信息的映射，将预设区域映射到目标图像中，方便进行垃圾定位，从而可以服务于无人清扫，所得到的垃圾定位信息可以供无人清扫车进行高效的垃圾清扫路径规划。

此外，还可以将垃圾检测模型与障碍物检测模型共享基础特征网络，从而减少计算资源损耗，减少训练数据要求，提高表征能力。

还可以子啊垃圾检测基础上进行垃圾分类，确定出清扫方式，以更好的服务于无人清扫规划。

对应于上述方法流程，本说明书实施例还提供了一种装置实施例。

如图7所示，为本说明书实施例提供的一种垃圾检测装置的结构示意图。

其中，可以预先将待检测区域划分为至少两个预设区域。垃圾检测装置可以包括以下单元。

获取单元201，用于获取针对待检测区域拍摄的目标图像。

映射单元202，用于确定所划分的预设区域在目标图像中的位置。

检测单元203，用于针对目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果。

定位单元204，用于根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域。

可选地，映射单元202可以用于：确定拍摄目标图像时，摄像装置的位置、高度和拍摄角度；确定待检测区域中每个预设区域的位置；根据摄像装置的位置、高度和拍摄角度，以及每个预设区域的位置，确定每个预设区域在目标图像中的位置。

可选地，检测单元203可以包括：预处理子单元203a，用于针对目标图像进行预处理。

检测子单元203b，用于将预处理结果输入到预先训练的垃圾检测模型，根据垃圾检测模型的输出，确定垃圾检测结果。

可选地，预处理子单元203a可以用于：裁剪目标图像，保留目标图像中的预设区域。

可选地，垃圾检测模型至少用于针对目标图像的一个或多个缩放副本进行垃圾检测；其中，任一缩放副本的图像分辨率大于预设分辨率，或者缩放比例大于预设缩放比例。

可选地，垃圾检测模型中的损失函数包括焦点损失；焦点损失用于增加标注有垃圾检测框标签的图像样本的权重。

可选地，垃圾检测模型可以包括基础特征网络；垃圾检测模型的训练方法，可以包括：将标注有障碍物检测框标签的图像样本确定为标注有垃圾检测框标签的图像样本，训练垃圾检测模型包括的基础特征网络。

可选地，垃圾检测模型的输出为垃圾检测框，所输出的垃圾检测框具有置信度；检测单元203可以包括：遍历子单元203c，用于按照置信度从大到小的顺序，遍历垃圾检测模型输出的垃圾检测框。

删除子单元203d，用于在当前遍历的垃圾检测框，与任一其他垃圾检测框之间的交并比大于预设交并比的情况下，删除该其他垃圾检测框；遍历结束后，将剩余的垃圾检测框确定为垃圾检测结果。

可选地，垃圾检测结果为垃圾检测框，定位单元204可以用于：将任一垃圾检测框的中心点所在的预设区域，确定为垃圾区域；或者将与任一垃圾检测框的重合度满足预设重合条件的预设区域，确定为垃圾区域。

可选地，获取单元201可以用于：获取针对待检测区域拍摄的多个目标图像；或者获取在预设时间段内针对待检测区域拍摄的多个目标图像；或者获取针对待检测区域连续拍摄的多个目标图像。

相对应地，定位单元204可以用于：如果任一预设区域在针对预设图像数量的目标图像确定的垃圾检测结果中，都存在垃圾，则将该预设区域确定为垃圾区域。

可选地，垃圾检测装置，还可以包括：清扫路线确定单元205，用于确定待清扫的垃圾区域，并根据待清扫的垃圾区域确定清扫路线。

可选地，垃圾检测装置，还可以包括：清扫方式确定单元206，用于获取垃圾种类与清扫方式的对应关系；根据所确定的垃圾检测结果，确定垃圾区域中包含垃圾的种类；垃圾检测模型还用于检测垃圾种类；根据任一垃圾区域中包含垃圾的种类，确定对应的清扫方式。

可选地，垃圾检测装置，还可以包括：障碍物检测单元207，用于检测待检测区域中的障碍物，将存在障碍物的预设区域确定为障碍区域。

相对应地，定位单元204可以用于：根据所确定的垃圾检测结果，将检测到存在垃圾的非障碍区域确定为垃圾区域。

可选地，障碍物检测单元207可以用于：针对所述目标图像，利用预先训练的障碍物检测模型确定障碍物检测结果。

可选地，障碍物检测模型和垃圾检测模型包括的基础特征网络可以采用相同的训练样本集合进行训练，训练得到的基础特征网络相同；训练样本集合可以包括：标注有障碍物检测框标签的图像样本，以及标注有垃圾检测框标签的图像样本。

上述装置实施例的详细解释可以参见上述方法流程的解释。

本说明书实施例还提供一种计算机设备，具体可以是无人清扫设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现上述任一方法实施例中的一种垃圾检测方法。

图8示出了本说明书实施例所提供的一种更为具体的计算机设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一方法实施例中的一种垃圾检测方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护。

Claims (18)

1.一种垃圾检测方法，预先将待检测区域划分为至少两个预设区域；所述方法包括：

获取针对所述待检测区域拍摄的目标图像；

确定所划分的预设区域在所述目标图像中的位置；

针对所述目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果；

根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域。

2.根据权利要求1所述的方法，所述确定所划分的预设区域在所述目标图像中的位置，包括：

确定拍摄所述目标图像时，摄像装置的位置、高度和拍摄角度；

确定所述待检测区域中每个预设区域的位置；

根据所述摄像装置的位置、高度和拍摄角度，以及每个预设区域的位置，确定每个预设区域在所述目标图像中的位置。

3.根据权利要求1所述的方法，所述针对所述目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果，包括：

针对所述目标图像进行预处理；

将预处理结果输入到预先训练的垃圾检测模型，根据所述垃圾检测模型的输出，确定垃圾检测结果。

4.根据权利要求3所述的方法，所述预处理包括：裁剪所述目标图像，保留所述目标图像中的预设区域。

5.根据权利要求1所述的方法，所述垃圾检测模型至少用于针对所述目标图像的一个或多个缩放副本进行垃圾检测；其中，任一缩放副本的图像分辨率大于预设分辨率，或者缩放比例大于预设缩放比例。

6.根据权利要求1所述的方法，所述垃圾检测模型中的损失函数包括焦点损失；所述焦点损失用于增加标注有垃圾检测框标签的图像样本的权重。

7.根据权利要求1所述的方法，所述垃圾检测模型包括基础特征网络；所述垃圾检测模型的训练方法，包括：

将标注有障碍物检测框标签的图像样本确定为标注有垃圾检测框标签的图像样本，训练所述垃圾检测模型包括的基础特征网络。

8.根据权利要求1所述的方法，所述针对所述目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果，包括：

所述垃圾检测模型的输出为垃圾检测框，所输出的垃圾检测框具有置信度；

按照置信度从大到小的顺序，遍历所述垃圾检测模型输出的垃圾检测框；

在当前遍历的垃圾检测框，与任一其他垃圾检测框之间的交并比大于预设交并比的情况下，删除所述任一其他垃圾检测框；

遍历结束后，将剩余的垃圾检测框确定为垃圾检测结果。

9.根据权利要求1所述的方法，所述垃圾检测结果为垃圾检测框，所述根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域，包括：

将任一垃圾检测框的中心点所在的预设区域，确定为垃圾区域；或者

将与任一垃圾检测框的重合度满足预设重合条件的预设区域，确定为垃圾区域。

10.根据权利要求1所述的方法，所述获取针对所述待检测区域拍摄的目标图像，包括：

获取针对所述待检测区域拍摄的多个目标图像；或者获取在预设时间段内针对所述待检测区域拍摄的多个目标图像；或者获取针对所述待检测区域连续拍摄的多个目标图像；

所述根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域，包括：

如果任一预设区域在针对预设图像数量的目标图像确定的垃圾检测结果中，都存在垃圾，则将所述任一预设区域确定为垃圾区域。

11.根据权利要求1所述的方法，还包括：

确定待清扫的垃圾区域，并根据所述待清扫的垃圾区域确定清扫路线；所述清扫路线包括所述待清扫的垃圾区域。

12.根据权利要求1所述的方法，还包括：

获取垃圾种类与清扫方式的对应关系；

根据所确定的垃圾检测结果，确定垃圾区域中包含垃圾的种类；所述垃圾检测模型还用于检测垃圾种类；

根据任一垃圾区域中包含垃圾的种类，确定对应的清扫方式。

13.根据权利要求1所述的方法，还包括：

检测所述待检测区域中的障碍物，将存在障碍物的预设区域确定为障碍区域；

所述根据所确定的垃圾检测结果，将检测到存在垃圾的预设区域确定为垃圾区域，包括：

根据所确定的垃圾检测结果，将检测到存在垃圾的非障碍区域确定为垃圾区域。

14.根据权利要求13所述的方法，所述检测所述待检测区域中的障碍物，包括：

针对所述目标图像，利用预先训练的障碍物检测模型确定障碍物检测结果。

15.根据权利要求14所述的方法，所述障碍物检测模型和所述垃圾检测模型包括的基础特征网络采用相同的训练样本集合进行训练，训练得到的基础特征网络相同；所述训练样本集合包括：标注有障碍物检测框标签的图像样本，以及标注有垃圾检测框标签的图像样本。

16.一种垃圾检测装置，预先将待检测区域划分为至少两个预设区域；所述装置包括：

获取单元，用于获取针对所述待检测区域拍摄的目标图像；

映射单元，用于确定所划分的预设区域在所述目标图像中的位置；

检测单元，用于针对所述目标图像，利用预先训练的垃圾检测模型确定垃圾检测结果；

定位单元，用于根据所确定的垃圾检测结果，将存在垃圾的预设区域确定为垃圾区域。

17.一种无人清扫设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至15任一项所述的方法。

18.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1至15任一项所述的方法。

Images