CN114694025A - 室内3d目标检测方法与装置、扫地机器人、存储介质 - Google Patents

Abstract

本发明公开了一种室内3D目标检测方法与装置、扫地机器人、存储介质，其中，室内3D目标检测方法包括以下步骤：获取室内场景的目标3D点云数据；基于目标3D点云数据确定至少两个目标候选框；采用3DNMS模块对目标候选框进行筛选得到最优边框；基于最优边框获得室内场景的3D检测结果由此，本实施例的室内3D目标检测方法能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

Description

室内3D目标检测方法与装置、扫地机器人、存储介质

技术领域

本发明涉及目标检测技术领域，尤其涉及一种室内3D(3-Dimension，三维)目标检测方法、一种扫地机器人、一种计算机可读存储介质和一种室内3D目标检测装置。

背景技术

目标检测是计算机视觉的核心任务之一，它是机器与周围环境交互的必要功能，是当前研究的热点领域。与此同时，目标检测的实际应用非常广泛，针对不同的场景，衍生出各种各样的算法。根据应用场景的不同，以及传感器采集数据的类型的差别，可以大概分为2D目标检测和3D目标检测两大类。基于图像的2D目标检测研究比较早，研究也比较成熟。随着3D传感器的兴起和广泛应用，3D目标检测也得到越来越多的关注。

以室内3D目标检测为例，大概有两类技术方向。第一类是结合2D数据和3D数据，实现对室内关键目标的检测，大致的就是将3D数据转换为2D数据，然后借助2D的目标检测算法。第二类是直接在3D数据上进行目标检测，进而检测室内关键目标。

在室内环境中，由于视角遮挡导致数据残缺以及3D数据本身的稀疏性等特点，容易导致室内3D目标检测面临诸多条件，如导致检测精度较低、漏检、误检等问题的出现。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种室内3D目标检测方法，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

本发明的第二个目的在于提出一种扫地机器人。

本发明的第三个目的在于提出一种计算机可读存储介质。

本发明的第四个目的在于提出一种室内3D目标检测装置。

为达上述目的，本发明第一方面实施例提出了一种室内3D目标检测方法，该方法包括以下步骤：获取室内场景的目标3D点云数据；基于所述目标3D点云数据确定至少两个目标候选框；采用3DNMS模块对所述目标候选框进行筛选得到最优边框；基于所述最优边框获得所述室内场景的3D检测结果。

本发明实施例的室内3D目标检测方法首先可以获取室内场景的目标3D点云数据，其中，获取方法不进行具体限定，可以通过点云数据传感器等进行获取，然后根据所获取到的目标3D点云数据确定多个目标候选框，再利用3DNMS模块对目标候选框进行筛选以得到目标的最优边框，最后对该最优边框进行解析以得到室内场景的3D检测结果。由此，本发明实施例的室内3D目标检测方法可以解决背景技术中提到的在对3D数据进行目标检测时需先换成2D数据，还往往由于视角遮挡等情况导致数据残缺，进而导致目标检测精度低、漏检误检等技术问题，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

在本发明的一些实施例中，所述基于所述目标3D点云数据确定至少两个目标候选框，包括：采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量；根据所述种子点和特征向量进行投票聚集处理，获得初步目标候选框信息；对所述初步目标候选框信息进行感兴趣区域提取，获得至少两个目标候选框。

在本发明的一些实施例中，若所述BackBone主干网络包括SA结构，则所述采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量，包括：从所述目标3D点云数据中随机确定一个初始点，并依次利用最远点采样算法进行采样，直到达到目标点数，进而获得所述种子点，以及采用多层感知器提取所述目标3D点云数据的特征向量。

在本发明的一些实施例中，若所述BackBone主干网络包括FP结构，则所述采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量，还包括：对经过所述SA结构处理的目标3D点云数据进行上采样，以获得所述种子点。

在本发明的一些实施例中，根据所述种子点和特征向量进行投票聚集处理，获得初步目标候选框信息包括：对所述种子点进行投票处理，以得到投票点；对所述投票点进行聚集处理，以使所述投票点向所述目标的中心点聚集；根据所述投票点和所述特征向量获取所述初步目标候选框信息。

在本发明的一些实施例中，所述获取室内场景的目标3D点云数据，包括：采集所述室内场景的3D点云数据，对所述室内场景的3D点云数据进行降噪处理和/或随机采样，将降噪处理和/或随机采样得到的结果作为获取的目标3D点云数据。

在本发明的一些实施例中，所述室内场景的3D检测结果包括所述室内场景内物体的位置信息、尺寸信息、朝向信息以及类别信息。

为达上述目的，本发明第二方面实施例提出了一种扫地机器人，该扫地机器人包括存储器、处理器及存储在存储器上并可在处理器上运行的室内3D目标检测程序，所述处理器执行所述室内3D目标检测程序时，实现根据上述实施例所述的室内3D目标检测方法。

本发明实施例的扫地机器人包括存储器和处理器，处理器执行存储在存储器上的室内3D目标检测程序，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

为达上述目的，本发明第三方面实施例提出了一种计算机可读存储介质，其上存储有室内3D目标检测程序，该室内3D目标检测程序被处理器执行时实现根据上述实施例所述的室内3D目标检测方法。

本发明实施例的计算机可读存储介质通过处理器执行存储在其上的室内3D目标检测程序，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

为达上述目的，本发明第四方面实施例提出了一种室内3D目标检测装置，该目标检测装置包括获取模块，用于获取室内场景的目标3D点云数据；确定模块，基于所述目标3D点云数据确定至少两个目标候选框；筛选模块，采用3DNMS模块对所述目标候选框进行筛选得到最优边框；检测模块，基于所述最优边框获得所述室内场景的3D检测结果。

本发明实施例的室内3D目标检测装置包括获取模块、确定模块、筛选模块和检测模块，其中，可以先利用获取模块获取室内场景的目标3D点云数据，其中，获取模块不进行具体限定，如可以是点云数据传感器等，然后根据所获取到的目标3D点云数据利用确定模块确定多个目标候选框，再通过筛选模块采用3DNMS模块对目标候选框进行筛选以得到目标的最优边框，最后利用检测模块对该最优边框进行解析检测以得到室内场景的3D检测结果。由此，本发明实施例的室内3D目标检测装置可以解决背景技术中提到的在对3D数据进行目标检测时需先换成2D数据，还往往由于视角遮挡等情况导致数据残缺，进而导致目标检测精度低、漏检误检等技术问题，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是根据本发明一个实施例的室内3D目标检测方法的流程图；

图2是根据本发明一个实施例的室内3D目标检测方法的流程图；

图3是根据本发明一个实施例的室内3D目标检测方法对应的处理网络结构图；

图4是根据本发明一个实施例的室内3D目标检测方法对应的处理网络结构图；

图5是根据本发明一个实施例的室内3D目标检测方法的流程图；

图6是根据本发明实施例的扫地机器人的结构框图；

图7是根据本发明实施例的室内3D目标检测装置的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的室内3D目标检测方法与装置、扫地机器人、存储介质。

图1是根据本发明一个实施例的室内3D目标检测方法的流程图。

如图1所示，本发明提出了一种室内3D目标检测方法，该室内3D目标检测方法包括以下步骤：

S10，获取室内场景的目标3D点云数据。

具体地，本实施例中可以通过3D传感器获取室内场景各个视角的3D数据，需要说明的是，本实施例可以应用到扫地机器人等家电设备上，然后通过机器人绕着室内移动，从而可以确定室内场景的目标3D点云数据。机器人在获取室内场景的目标3D点云数据的时候，所获取的3D点云数据可以包括每个点的位置坐标和颜色，但是本实施例中对于目标的检测可以仅用到点云数据中的位置坐标数据，而不要求颜色数据。

在一些实施例中，获取室内场景的目标3D点云数据具体包括：采集室内场景的3D点云数据，对该室内场景的3D点云数据进行降噪处理和/或随机采样，将经过降噪处理和/或随机采样后得到的结果作为室内场景的目标3D点云数据。

S20，基于目标3D点云数据确定至少两个目标候选框。S30，采用3DNMS模块对目标候选框进行筛选得到最优边框。S40，基于最优边框获得室内场景的3D检测结果。

具体地，本实施例中可以先训练一个3D目标检测模型，以便在目标3D点云数据输入该3D目标检测模型之后，能够获取到对应的3D检测结果。需要说明的是，其中，3D目标检测模型首先可以通过3D传感器获取室内场景各个视角的3D数据，然后根据各个视角的3D数据，重建为完整的室内3D场景，其中，各个视角可以是扫地机走遍全屋所采集到的所有图片数据，重复的部分可以进行冗余消除。

可以理解的是，3D目标检测模型的训练除了需要数据之外，还需要训练标签信息，所谓标签信息就是一个室内场景内的目标物体的相关信息，例如家具的尺寸、中心坐标、偏转角、类别等信息。其中，标签的制作可以借助相应的标注软件，手工标注每个家具的信息，该信息包括尺寸、中心坐标、偏转角和类别，其中，坐标的可以选择Z轴朝上、X轴朝右和Y轴朝前的坐标轴，而家具的类别则可以包括床、沙发、桌椅、马桶、冰箱等，并且，需要说明的是，一个室内场景的点云数据和一个标签可以构成一个训练实例。

在训练好3D目标检测模型之后，则可以将一个新室内场景所对应的3D点云数据输入到该模型中，从而能够获得室内场景中的家具3D检测结果，即检测到该新的室内场景中各家具所对应的位置坐标数据，从而扫地机器人等家电设备在进行工作的过程中则可以避免撞到家具而无法正常工作。

在本发明的一些实施例中，如图2所示，图2是根据本发明一个实施例的室内3D目标检测方法的流程图，其中，基于目标3D点云数据确定至少两个目标候选框，包括：

S201，采用BackBone主干网络对目标3D点云数据进行特征提取，获得种子点和特征向量。

需要说明的是，在对目标3D点云数据进行训练之前，可以先对数据进行预处理，其中，预处理包括对数据进行必要的降噪处理，移除部分噪声，比如离群点。具体就是，遍历所有的点，以固定的半径范围内的点数为判断依据，少于一定的点数则为离群点或者孤立点，则可以直接删除。需要说明的是，本实施例中固定的半径范围可以根据点云数据的密度进行确定，例如，点云数据的密度越大，则该固定的半径越小，点云数据的密度越小，则该固定的半径越大。可以理解的是，原始重建的点云数据中可能包含有数十万至数百万级别的点云数，数据量相当庞大，为了提高计算速度，在预处理中可以只随机采样原始数据中的五万个点云数作为计算数据，而不将全部数据进行计算处理。

具体地，本实施例中的BackBone是网络的主干模块，如图3所示，该BackBone主干网络包括4个SA结构和2个FP结构，可以提取所输入的3D点云数据的点云特征，进而生成种子点和特征向量。需要说明的是，种子点是在目标表面上的点，潜在的指示着目标的信息，可以用于体现家具目标，而特征向量则是用于对所提取的点云特征进行描述的参数。

更具体地，在该实施例中，采用BackBone主干网络对目标3D点云数据进行特征提取，获得种子点和特征向量，包括：从目标3D点云数据中随机确定一个初始点，并依次利用最远点采样算法进行采样，直到达到目标点数，进而获得种子点，以及采用多层感知器提取目标3D点云数据的特征向量。

具体地，如图4所示，SA结构包括有两个算法模块，分别为最远点采样算法模块和MLP(MultiLayer Perceptron，多层神经网络)模块，其中，最远点采样算法首先从目标3D点云数据中随机确定一个点作为初始点，并记为P1，然后从剩余的点集中取出与P1欧式距离最远的点，记为P2，接着继续从剩余点集中取出距离P1和P2最远的点，依次这样取点，直到所提取的点的数量达到预设数量，则停止提取，并将获取到的点作为种子点。需要说明的是，本实施例中的预设数量具体的取值可以根据目标的大小进行确定，可以理解的，目标面积较小的，则预设数量较小，目标面积较大的，则预设数量可以较大。SA结构中的MLP则可以由2D卷积conv、bn、激活函数relu组成，然后用于提取种子点的特征向量。

在该实施例中，采用BackBone主干网络对目标3D点云数据进行特征提取，获得种子点和特征向量，还包括：对经过SA结构处理的目标3D点云数据进行上采样，以获得种子点。

具体地，由于种子点从目标3D点云数据中提取能够表示目标位置的点，在经过了SA结构对种子点进行提取之后，种子点的数量相较于目标3D点云数据减少了许多，可以理解的是，每经过一个SA结构，点云数据都减少为原来的一半，以此来提高最后获取到的种子点的准确性。如图3所示，在经过SA结构对目标3D点云数据进行特征提取得到种子点之后，则利用FP结构将所提取到的种子点进行上采样，以提高种子点的数量，从而能够防止由于意外而种子点数量丢失导致检测结果不准确。可以理解的是，每经过一个FP结构处理，种子点数量可以增加为原来的两倍，以此来提高获取到的种子点的数量。

S202，根据种子点和特征向量进行投票聚集处理，获得初步目标候选框信息。

具体地，在经过BackBone主干网络提取到种子点和对应的特征之后，则可以将种子点进行处理以选取出投票点，需要说明的是，这些投票点位于家具的中心位置附近，以进一步区分不同的家具目标，可以理解的是，在确定了投票点之后，则可以根据投票点获取初步的目标候选框信息。

该实施例中，如图5所示，根据种子点和特征向量进行投票聚集处理，获得初步目标候选框信息，包括：S501，对种子点进行投票处理，以得到投票点。S502，对投票点进行聚集处理，以使投票点向目标的中心点聚集。S503，根据所述投票点和所述特征向量获取所述初步目标候选框信息。

具体地，本实施例可以利用RPN网络模块对种子点进行投票处理，其中，RPN网络模块可以包括有两部分，这两部分的功能分别是生成投票点以及候选框信息，投票点的生成可以根据对每个种子点进行评分，再将每个种子点分数与预设阈值进行比较得到的，可以规定，将分数大于或者等于预设阈值的种子点作为投票点，或者，仅将分数大于预设阈值的种子点都作为投票点。在确定了投票点之后，则对所确定出来的投票点进行聚集处理，其中，在进行聚集处理之前，可以先确定每个目标的中心点，然后将每个目标所对应的投票点对应聚集在中心点上或者中心点附近，最后根据经过聚集的投票点和特征向量获取初步目标候选框信息，需要说明的是，利用RPN网络模块以根据投票点和特征向量以获取候选框信息可以参见相关技术中的具体描述，在此不再赘述。需要说明的是，本实施例的投票点中包括有家具目标的中心点，候选框的信息则可以包括边框的尺寸、类别以及目标的朝向信息，其中，边框的尺寸、类别以及目标的朝向信息是根据特征向量进行确定的。

S203，对初步目标候选框信息进行感兴趣区域提取，获得至少两个目标候选框。

具体地，在经过RPN网络模块处理之后，则可以生成初步目标候选框信息，进而对该初步目标候选框进行修正，以得到更加准确的候选框信息，需要说明的是，本实施例中的每个目标都可能包括有多个候选框，并且，可以利用ROI模块对初步目标候选框进行修正，以得到更加精确的候选框信息。

S30，采用3DNMS模块对目标候选框进行筛选得到最优边框。具体地，在对初步目标候选框进行修正以得到更加精确的目标候选框信息之后，可以从多个目标候选框中筛选出最优的边框，具体可以通过3DNMS模块对多个目标候选框进行筛选。需要说明的是，本实施例中可以通过每个目标候选框的评分、框重叠度等参数筛选出最优边框，还可以进行去冗余处理，以获得最优边框。

S40，基于最优边框获得室内场景的3D检测结果。具体地，在处理得到最优边框之后，则可以对该最优边框进行记录，并获得检测结果，需要说明的是，在一些实施例中，室内场景的家具3D检测结果包括家具的位置信息、尺寸信息、朝向信息以及类别信息。

在一个具体实施例中，可以将上述步骤进行训练以得到对应的目标检测模型，然后可以直接通过向该目标检测模型输入室内3D点云数据，即可输出对应的家具目标，方便实用。检测模型的训练方式如下，首先输入维度为8×40000×3的数据，其中，8表示一次输入的训练场景个数，如可以是8个室内场景，40000则表示每个训练场景的点云数据个数，3则表示每个点的坐标值，即X轴、Y轴和Z轴对应的值。将数据8×40000×3输入BackBone主干网络中，以提取种子点和相应的点云特征，从而得到数据8×1024×3和8×1024×256，其中，数据8×1024×3中，8表示8个室内场景，40000表示每个训练场景有40000个点云数据，3表示每个点的坐标值，数据8×1024×256中，8表示8个室内场景，1024表示每个训练场景有1024个点云数据，256则表示256个维度的特征向量，即其中数据8×1024×3用于表示种子点，数据8×1024×256用于表示特征向量。在经过主干网络处理生成种子点和特征向量之后，则可以利用RPN模块生成投票点和候选框信息，其中，投票点数据的形状可以为8×256×8，第一个8仍然表示8个室内场景，256表示每个训练场景有256个点云数据，第二个8则表示目标家具的长、宽、高、类别、朝向和坐标(XYZ轴的值)八项特征，边框的尺寸、类别以及目标的朝向信息则根据特征向量进行确定。在确定了候选框之后，则利用ROI模块融合第二个SA模块所输出的数据(形状为8×1024×3)、第二个FP结构所输出的数据(形状为8×1024×256)以及RPN输出的信息，对候选框进一步修正，进而可以得到更加准确的候选框，再经过3DNMS模块去除冗余边框，获得最优边框，进而确定了目标家具。

由此，本发明实施例的室内3D目标检测方法能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

图6是根据本发明实施例的扫地机器人的结构框图。

进一步地，如图6所示，本发明提出了一种扫地机器人10，该扫地机器人10包括存储器11、处理器12及存储在存储器11上并可在处理器12上运行的室内3D目标检测程序，处理器12执行室内3D目标检测程序时，实现根据上述实施例中的室内3D目标检测方法。

本发明实施例的扫地机器人包括存储器和处理器，通过处理器执行存储在存储器上的室内3D目标检测程序，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

进一步地，本发明提出了一种计算机可读存储介质，其上存储有室内3D目标检测程序，该室内3D目标检测程序被处理器执行时实现根据上述实施例中的室内3D目标检测方法。

本发明实施例的计算机可读存储介质通过处理器执行存储在其上的室内3D目标检测程序，能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

图7是根据本发明实施例的室内3D目标检测装置的结构框图。

进一步地，如图7所示，本发明提出了一种室内3D目标检测装置100，该室内3D目标检测装置100包括获取模块101、确定模块102、筛选模块103和检测模块104。

其中，获取模块101用于获取室内场景的目标3D点云数据；确定模块102基于目标3D点云数据确定至少两个目标候选框；筛选模块103采用3DNMS模块对目标候选框进行筛选得到最优边框；检测模块104基于最优边框获得室内场景的3D检测结果。

在本发明的一些实施例中，确定模块102具体用于，采用BackBone主干网络对目标3D点云数据进行特征提取，获得种子点和特征向量；根据种子点和特征向量进行投票聚集处理，获得初步目标候选框信息；对初步目标候选框信息进行感兴趣区域提取，获得至少两个目标候选框。

在本发明的一些实施例中，若BackBone主干网络包括SA结构，则确定模块102还用于，从目标3D点云数据中随机确定一个初始点，并依次利用最远点采样算法进行采样，直到达到目标点数，进而获得种子点，以及采用多层感知器提取目标3D点云数据的特征向量。

在本发明的一些实施例中，若BackBone主干网络包括FP结构，则确定模块102还用于，对经过SA结构处理的目标3D点云数据进行上采样，以获得种子点。

在本发明的一些实施例中，确定模块102还用于，对种子点进行投票处理，以得到投票点；对投票点进行聚集处理，以使投票点向目标的中心点聚集；根据投票点和特征向量获取初步目标候选框信息。

在本发明的一些实施例中，确定模块101具体用于，采集室内场景的3D点云数据；对室内场景的3D点云数据进行降噪处理和/或随机采样，将降噪处理和/或随机采样得到的结果作为获取的目标3D点云数据。

在本发明的一些实施例中，室内场景的3D检测结果包括室内场景内物体的位置信息、尺寸信息、朝向信息以及类别信息。

需要说明的是，本发明实施例的室内3D目标检测装置的具体实施方式，可以参见上述实施例中的室内3D目标检测方法的具体实时方式，在此不再赘述。

由此，本发明实施例的室内3D目标检测装置能够直接对3D数据进行处理，并且检测速度和精度较高，同时具有较强的鲁棒性。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，本发明实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本发明实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本发明的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。

在本发明中，除非实施例中另有明确的相关规定或者限定，否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或成一体，可以理解的，也可以是机械连接、电连接等；当然，还可以是直接相连，或者通过中间媒介进行间接连接，或者可以是两个元件内部的连通，或者两个元件的相互作用关系。对于本领域的普通技术人员而言，能够根据具体的实施情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种室内3D目标检测方法，其特征在于，所述方法包括：

获取室内场景的目标3D点云数据；

基于所述目标3D点云数据确定至少两个目标候选框；

采用3DNMS模块对所述目标候选框进行筛选得到最优边框；

基于所述最优边框获得所述室内场景的3D检测结果。

2.根据权利要求1所述的室内3D目标检测方法，其特征在于，所述基于所述目标3D点云数据确定至少两个目标候选框，包括：

采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量；

根据所述种子点和特征向量进行投票聚集处理，获得初步目标候选框信息；

对所述初步目标候选框信息进行感兴趣区域提取，获得至少两个目标候选框。

3.根据权利要求2所述的室内3D目标检测方法，其特征在于，若所述BackBone主干网络包括SA结构，则所述采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量，包括：

从所述目标3D点云数据中随机确定一个初始点，并依次利用最远点采样算法进行采样，直到达到目标点数，进而获得所述种子点，以及采用多层感知器提取所述目标3D点云数据的特征向量。

4.根据权利要求3所述的室内3D目标检测方法，其特征在于，若所述BackBone主干网络包括FP结构，则所述采用BackBone主干网络对所述目标3D点云数据进行特征提取，获得种子点和特征向量，还包括：

对经过所述SA结构处理的目标3D点云数据进行上采样，以获得所述种子点。

5.根据权利要求2所述的室内3D目标检测方法，其特征在于，所述根据所述种子点和特征向量进行投票聚集处理，获得初步目标候选框信息，包括：

对所述种子点进行投票处理，以得到投票点；

对所述投票点进行聚集处理，以使所述投票点向所述目标的中心点聚集；

根据所述投票点和所述特征向量获取所述初步目标候选框信息。

6.根据权利要求1-5中任一项所述的室内3D目标检测方法，其特征在于，所述获取室内场景的目标3D点云数据，包括：

采集所述室内场景的3D点云数据，对所述室内场景的3D点云数据进行降噪处理和/或随机采样，将降噪处理和/或随机采样得到的结果作为获取的目标3D点云数据。

7.根据权利要求1-5中任一项所述的室内3D目标检测方法，其特征在于，所述室内场景的3D检测结果包括所述室内场景内物体的位置信息、尺寸信息、朝向信息以及类别信息。

8.一种扫地机器人，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的室内3D目标检测程序，所述处理器执行所述室内3D目标检测程序时，实现根据权利要求1-7中任一项所述的室内3D目标检测方法。

9.一种计算机可读存储介质，其特征在于，其上存储有室内3D目标检测程序，该室内3D目标检测程序被处理器执行时实现根据权利要求1-7中任一项所述的室内3D目标检测方法。

10.一种室内3D目标检测装置，其特征在于，包括：

获取模块，用于获取室内场景的目标3D点云数据；

确定模块，基于所述目标3D点云数据确定至少两个目标候选框；

筛选模块，采用3DNMS模块对所述目标候选框进行筛选得到最优边框；

检测模块，基于所述最优边框获得所述室内场景的3D检测结果。

Images